深度學習(deep leaning)這個技術出現後，這幾年不難看到在醫學影像上的應用；較少看到在感測器偵測人體動作上做應用。這篇生醫人網摘要介紹一個皮膚貼膜般的感測器，搭配深度學習，同步虛擬呈現受測者手部的複雜動作，不需要把複雜動作的每個關節都量測出來。這樣的技術，在生醫領域可以有什麼樣的應用呢?大家一起想一想。
深度學習+皮膚作動細微感測
過去，要即時偵測和持續記錄人體的動作，需要在關節部位放上感測器或者偵測單元，用影像來監測。例如步態量測或者運動員的動作監測。後來有科學家以量測受測者的肌電圖(EMG Electromyography)，來了解動作模式。而手的動作複雜且精細，有26個自由度之多，要如何能偵測受測者的動作，同時以虛擬方式呈現出來呢? KAIST近期一篇研究，發表一款用雷射加工製造的感測器(E-Skin)，形同一層很薄的皮膚，可以放在手部作動時肌肉聚集，也就是手腕的位置。進而，能感測手部動作時，皮膚上非常細微的變化。受測者按照引導做動作，訊號經過KAIST開發的快速情況學習(RSL, Rapid Situation Learning)系統，學習皮膚偵測到的訊號和動作之間的關係。如此，完成之後，不需要在每個關節位置量測，只需要在手腕放置這個感測器，便能即時、虛擬的呈現手部的動作。
這個系統是否能精準呈現手部的26個自由度，目前還不知道，但是整體開發概念可行。除了快速情況學習，相信感測器量測皮膚的精準度和敏感度，也是很關鍵的。
在AR/VR上應用
這個例子是藉由深度學習，讓動作偵測系統，在硬體和量測方法上，都可以繁化簡的方法。開發這項技術的研究員，認為這套系統和方法，很有機會可以也應用到人體其它部位的動作上。至於生醫上的應用，如果搭配擴增實境(AR, Augmented Reality)和虛擬實境(VR, Virtual Reality)，發展成為復健遊戲，似乎也有機會喔!!
文章參考：KAIST
影片來源：Neuro-Machine Augmented Intelligence Lab
圖片來源：Daniel Frank@Pexels
