我們使用cookies來增進您的瀏覽體驗,繼續瀏覽表示您同意我們的隱私權政策,或可不繼續瀏覽。

擴增實境手術導航系統,真的來了

醫師在做手術的時候,有影像輔助,會不會容易許多?想想這個問題。事實上在醫療行為執行的時候,以影像來輔助,已經不是稀奇的事。只是現在影像又更多元了,從照片、影片、X光、CT、MRI、超音波..都是影像。現在更有了虛擬實境(VR, Virtual Reality)、擴增實境(AR, Augmented Reality)的影像,從2D拉到3D,還進入了現實場景。

輔助醫療的角色?

記得幾年前有個影像輔助顯示靜脈,讓醫療人員不用找病患的血管,直接看到靜脈來打針。剛出來網路上看到影片,不少人眼睛為之一亮。但是經過這幾年,實務上我們很少在醫院看到這個產品有被廣泛使用,不知道原因是什麼?生醫人猜測,這東西是好,但是這東西沒有也好幾年了,一樣可以打針,那麼醫院要買進這種『輔助』醫療行為的設備,是否是必需的呢?

VR然後AR vs 醫療

這幾年VR、AR,這些強調『Reality』的技術、設備開始發展,在醫療上的應用一直受矚目。一開始有Google眼鏡(Google Glass),可以把手術用的資訊投放在Google眼鏡的屏幕上。但這還不是真的實境(Reality)。後來VR眼鏡出來,開始有應用到治療和復健上,像是眼睛疾病的治療。那麼,AR的醫療應用呢?擴增實境和虛擬實境畢竟不同,將虛擬的影像投射到真實世界,雖然是看得到,卻依舊摸不著,但已經是幾個世紀前完全無法想像的技術了。

AR手術導航

今天要介紹一個AR用在手術導航系統的應用。在這之前,可以先到這裡看VR、AR和MR(Mixed Reality,混合實境)之間有什麼不同,又各別需要什麼硬體設備來實現。然而,這篇文章的重點不在介紹AR,簡單描述AR就是將虛擬影像放置在實境中;而要能看到這些虛擬影像,必須穿戴特殊顯示設備,像是Microsoft HoloLens。

VisAR 是一套由Novarad 發展的AR手術導航系統。2022年6月獲得美國FDA 510(k)批准用於精準導引術中脊椎手術。VisAR將病人的影像資料轉換成三維的全息影像(hologram),這種影像透過光學遮目鏡來看,將這種影像疊加在病人身上,提供醫師做為手術時的引導,影像疊加在實體上的精確度能小於釐米(mm)(submillimeter)。

原本醫師必須要看著螢幕操作手術,現在可以直接看著要開刀的部位手術。過去大多數的醫師在開刀時沒有用導航系統,因為這類的系統需要設定時間和花費。然而VisAR宣稱在手術室的設定時間少於2分鐘,實測對於椎弓根螺釘(pedicle screw)的放置動作,無論在開放或微創手術的精準度都到2mm以下。

能否精準對位是關鍵

上面看來我們有全息影像、看到影像的顯示裝置、病患,那麼這些影像到底是什麼?又怎麼能精準的疊加在患者身上?這些影像有2D、3D,主要是患者的CT影像,因為畢竟疊加上去之後,希望可以虛擬地看到患者體內的器官組織。然而要怎麼定位,將影像對映到患者身上呢?他是利用基準標記,我們在影片中考看到幾個像條碼的標記,用作對準的基準,自動對位。

醫師本來需要完整將解剖位置記憶在腦袋裡,包含要手術的部位,然後憑著一些經驗和知識來開刀,現在用這套完全沉浸式的擴增實境技術,好像能透視一般,看到內部的器官組織的相對位置,對定位來講應該是方便很多。不過定位『精準』倍受挑戰。

搭配Microsoft HoloLens 2

顯示裝置的部分,Novarad和Microsoft合作,使用大家都能買得到的Microsoft的AR頭戴裝置,花費較低,也有能力提升進階的硬體效能。因為Microsoft HoloLens是『無線』裝置,穿戴者能自由走動。同時,因為牽涉到患者的影像資訊,這套系統也要符合健康保險隱私及責任法案(Health Insurance Portability and Accountability Act, HIPAA,安全管理等的問題。

VisAR和Microsoft Holo Lens 2合作開發是不錯的方向,確實能讓團隊把更多心力放到原本要研發的系統上,不用花太多時間在顯示設備的硬體開發。但早期Google Glass出來的時候,也相繼有一些軟體平台依據Google Lens來開發,可是後來Google Lens沒有繼續了,這些軟體也就慢慢沒人關心了..。雖然最近Google Lens又復活了,但是未來萬一這種情況又發生,那是否能隨時轉換硬體平台,或者自己接手開發硬體?

為達到精準,可能的挑戰

看完這個新技術介紹,你認為這套系統有什麼可以想見的挑戰呢?生醫人整理幾個疑問,也同時認為可能是這套系統是否真的精準實用的關鍵:

  1. 全息影像的生成。在手術前要先完成這個部分,無論是任何的影像方式,電腦斷層掃描CT影像必不可少。而影像生成之後的解析度,也影響之後資料傳遞的時間和速度,以及精準的等級。
  2. 資料傳輸的方式是…?影像的資料是儲存在哪裡?即時的計算和更新影像,也是精準是否能達標的關鍵之一。我們在生醫人生旅歷Podcast,介紹AIoT的節目中了解到,醫院內因為考量電子訊號傳遞的安全性,不希望影響到其他設備,因而會使用藍牙來傳輸資料,自然有這種方式的限制。VisAR要傳輸的資料量我們大膽假設是很大的?很好奇傳輸資料的效率如何。
  3. 病患的解剖和位置可能改變?影像即使是3D影像,但是人體是一個可以柔軟體態的生物。不知道除了定位外,是否有人工智慧(AI)或者什麼樣的影像計算,讓原本掃描好的影像,即使患者身形改變,也能依據幾個基準來重新計算,再將穎影像重新對映上去。

目前,VisAR在美國可以使用,預計未來幾個月,其他國家也可能批准使用。其中頭頸外科手術的使用,在美國FDA正處於考慮階段(consideration phase)。..啊!!看來人體不同部位的應用,都需要審核呢?

外科醫生看到這個發明感覺如何呢?是覺得期待,還是覺得這東西根本沒幫助?歡迎留言告訴我們喔!

參考文章: Novarad

接收生醫新知

每一個訂閱,都是支持!

閱讀 隱私權政策

By BioMeder

生醫人網摘的編輯。熱愛創新和用腦袋的事物,堅持文章要有邏輯,藉由報導、解析生醫領域的創新和應用來傳播知識。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

您可能也有興趣看