深度學習(deep leaning)這個技術出現後,這幾年不難看到在醫學影像上的應用;較少看到在感測器偵測人體動作上做應用。這篇生醫人網摘要介紹一個皮膚貼膜般的感測器,搭配深度學習,同步虛擬呈現受測者手部的複雜動作,不需要把複雜動作的每個關節都量測出來。這樣的技術,在生醫領域可以有什麼樣的應用呢?大家一起想一想。 

解碼複雜動作,能應用在虛擬和擴增實境嗎?
解碼複雜動作,能應用在虛擬和擴增實境嗎? Credit: Daniel [email protected]

深度學習+皮膚作動細微感測

過去,要即時偵測和持續記錄人體的動作,需要在關節部位放上感測器或者偵測單元,用影像來監測。例如步態量測或者運動員的動作監測。後來有科學家以量測受測者的肌電圖(EMG Electromyography),來了解動作模式。而手的動作複雜且精細,有26個自由度之多,要如何能偵測受測者的動作,同時以虛擬方式呈現出來呢? KAIST近期一篇研究,發表一款用雷射加工製造的感測器(E-Skin),形同一層很薄的皮膚,可以放在手部作動時肌肉聚集,也就是手腕的位置。進而,能感測手部動作時,皮膚上非常細微的變化。受測者按照引導做動作,訊號經過KAIST開發的快速情況學習(RSL, Rapid Situation Learning)系統,學習皮膚偵測到的訊號和動作之間的關係。如此,完成之後,不需要在每個關節位置量測,只需要在手腕放置這個感測器,便能即時、虛擬的呈現手部的動作。 

這個系統是否能精準呈現手部的26個自由度,目前還不知道,但是整體開發概念可行。除了快速情況學習,相信感測器量測皮膚的精準度和敏感度,也是很關鍵的。 

在AR/VR上應用

這個例子是藉由深度學習,讓動作偵測系統,在硬體和量測方法上,都可以繁化簡的方法。開發這項技術的研究員,認為這套系統和方法,很有機會可以也應用到人體其它部位的動作上。至於生醫上的應用,如果搭配擴增實境(AR, Augmented Reality)和虛擬實境(VR, Virtual Reality),發展成為復健遊戲,似乎也有機會喔!! 

文章參考:KAIST 
影片來源:Neuro-Machine Augmented Intelligence Lab 
圖片來源:Daniel Frank@Pexels 



作者簡介

BioMeder

生醫人網摘的編輯。熱愛創新和用腦袋的事物,堅持文章一定要有邏輯性,藉由追蹤報導生醫領域的創新和應用來傳播知識。