醫師在做手術的時候，有影像輔助，會不會容易許多?想想這個問題。事實上在醫療行為執行的時候，以影像來輔助，已經不是稀奇的事。只是現在影像又更多元了，從照片、影片、X光、CT、MRI、超音波..都是影像。現在更有了虛擬實境(VR, Virtual Reality)、擴增實境(AR, Augmented Reality)的影像，從2D拉到3D，還進入了現實場景。
輔助醫療的角色?
記得幾年前有個影像輔助顯示靜脈，讓醫療人員不用找病患的血管，直接看到靜脈來打針。剛出來網路上看到影片，不少人眼睛為之一亮。但是經過這幾年，實務上我們很少在醫院看到這個產品有被廣泛使用，不知道原因是什麼?生醫人猜測，這東西是好，但是這東西沒有也好幾年了，一樣可以打針，那麼醫院要買進這種『輔助』醫療行為的設備，是否是必需的呢?
VR然後AR vs 醫療
這幾年VR、AR，這些強調『Reality』的技術、設備開始發展，在醫療上的應用一直受矚目。一開始有Google眼鏡(Google Glass)，可以把手術用的資訊投放在Google眼鏡的屏幕上。但這還不是真的實境(Reality)。後來VR眼鏡出來，開始有應用到治療和復健上，像是眼睛疾病的治療。那麼，AR的醫療應用呢?擴增實境和虛擬實境畢竟不同，將虛擬的影像投射到真實世界，雖然是看得到，卻依舊摸不著，但已經是幾個世紀前完全無法想像的技術了。
AR手術導航
今天要介紹一個AR用在手術導航系統的應用。在這之前，可以先到這裡看VR、AR和MR(Mixed Reality,混合實境)之間有什麼不同，又各別需要什麼硬體設備來實現。然而，這篇文章的重點不在介紹AR，簡單描述AR就是將虛擬影像放置在實境中；而要能看到這些虛擬影像，必須穿戴特殊顯示設備，像是Microsoft HoloLens。
VisAR 是一套由Novarad 發展的AR手術導航系統。2022年6月獲得美國FDA 510(k)批准用於精準導引術中脊椎手術。VisAR將病人的影像資料轉換成三維的全息影像(hologram)，這種影像透過光學遮目鏡來看，將這種影像疊加在病人身上，提供醫師做為手術時的引導，影像疊加在實體上的精確度能小於釐米(mm)(submillimeter)。
原本醫師必須要看著螢幕操作手術，現在可以直接看著要開刀的部位手術。過去大多數的醫師在開刀時沒有用導航系統，因為這類的系統需要設定時間和花費。然而VisAR宣稱在手術室的設定時間少於2分鐘，實測對於椎弓根螺釘(pedicle screw)的放置動作，無論在開放或微創手術的精準度都到2mm以下。
能否精準對位是關鍵
上面看來我們有全息影像、看到影像的顯示裝置、病患，那麼這些影像到底是什麼?又怎麼能精準的疊加在患者身上?這些影像有2D、3D，主要是患者的CT影像，因為畢竟疊加上去之後，希望可以虛擬地看到患者體內的器官組織。然而要怎麼定位，將影像對映到患者身上呢?他是利用基準標記，我們在影片中考看到幾個像條碼的標記，用作對準的基準，自動對位。
醫師本來需要完整將解剖位置記憶在腦袋裡，包含要手術的部位，然後憑著一些經驗和知識來開刀，現在用這套完全沉浸式的擴增實境技術，好像能透視一般，看到內部的器官組織的相對位置，對定位來講應該是方便很多。不過定位『精準』倍受挑戰。
搭配Microsoft HoloLens 2
顯示裝置的部分，Novarad和Microsoft合作，使用大家都能買得到的Microsoft的AR頭戴裝置，花費較低，也有能力提升進階的硬體效能。因為Microsoft HoloLens是『無線』裝置，穿戴者能自由走動。同時，因為牽涉到患者的影像資訊，這套系統也要符合健康保險隱私及責任法案（Health Insurance Portability and Accountability Act, HIPAA，安全管理等的問題。
VisAR和Microsoft Holo Lens 2合作開發是不錯的方向，確實能讓團隊把更多心力放到原本要研發的系統上，不用花太多時間在顯示設備的硬體開發。但早期Google Glass出來的時候，也相繼有一些軟體平台依據Google Lens來開發，可是後來Google Lens沒有繼續了，這些軟體也就慢慢沒人關心了..。雖然最近Google Lens又復活了，但是未來萬一這種情況又發生，那是否能隨時轉換硬體平台，或者自己接手開發硬體?
為達到精準，可能的挑戰
看完這個新技術介紹，你認為這套系統有什麼可以想見的挑戰呢?生醫人整理幾個疑問，也同時認為可能是這套系統是否真的精準實用的關鍵:
- 全息影像的生成。在手術前要先完成這個部分，無論是任何的影像方式，電腦斷層掃描CT影像必不可少。而影像生成之後的解析度，也影響之後資料傳遞的時間和速度，以及精準的等級。
- 資料傳輸的方式是…?影像的資料是儲存在哪裡?即時的計算和更新影像，也是精準是否能達標的關鍵之一。我們在生醫人生旅歷Podcast，介紹AIoT的節目中了解到，醫院內因為考量電子訊號傳遞的安全性，不希望影響到其他設備，因而會使用藍牙來傳輸資料，自然有這種方式的限制。VisAR要傳輸的資料量我們大膽假設是很大的?很好奇傳輸資料的效率如何。
- 病患的解剖和位置可能改變?影像即使是3D影像，但是人體是一個可以柔軟體態的生物。不知道除了定位外，是否有人工智慧(AI)或者什麼樣的影像計算，讓原本掃描好的影像，即使患者身形改變，也能依據幾個基準來重新計算，再將穎影像重新對映上去。
目前，VisAR在美國可以使用，預計未來幾個月，其他國家也可能批准使用。其中頭頸外科手術的使用，在美國FDA正處於考慮階段(consideration phase)。..啊!!看來人體不同部位的應用，都需要審核呢?
外科醫生看到這個發明感覺如何呢?是覺得期待，還是覺得這東西根本沒幫助?歡迎留言告訴我們喔!
參考文章: Novarad
