手語(sign language)可以轉換成語音嗎?如果可以,是不是能讓手語人也能打電話,輕鬆的和不會手語的人溝通,日常生活溝通更方便呢?簡言之,就是需要一台即時手語翻譯機嘛! 

我們常比的"YA",也就是英文字母"V"。
我們常比的”YA”,也就是英文字母”V”。Credit: [email protected]

手語專用手套

真實的手語,不僅只有手的動作,包含手臂、手肘,還需要搭配臉部的動作來表達。而詞彙很多,要表達的意思也很多,怎麼樣從這些手語動作來轉換成語音呢?美國UCLA近期在Nat Electron發表一篇研究,轉換手語成為英文字母語音。這篇研究開發一個具高延展性、高分子材料的手套,包含有一個硬幣大小的電路板,連結手套的每根手指,接上能感應手指變化的感應器,另外也設計能貼在使用者眉毛和嘴角邊的感測器。利用這樣的方式接收手語人的手語動作,無線傳輸訊號到手機App。此外,為更精準解讀複雜的手語,客製化一套機器學習(machine learning)演算法,手語人戴上手套後,可以先在系統上,重複一個動作數次,讓系統能精準解讀這個動作的意思。研究中提到,已經成功紀錄660個手語動作。 

手語翻譯和學習

這個設計有什麼特別呢?以產品原型來講,算是相當經濟的設計。其實這樣的設計,過去也有過不少,但都不夠輕巧、簡單。研究員提到未來除了供給手語人日常溝通,還能讓非手語人,藉由這套系統,來學習手語。 

應用面決定產品是否成功

看到這裡,有沒有什麼想法呢?應用面決定一個產品是不是實用和成功。如果未來能把所有組件,包含手套、App都整合到手套或者穿戴手錶內,手語人只需要戴手套和手錶出去,這個手套就能在比手語的時候發出語音,就能溝通啦。是不是很有發展成產品的機會呢? 

文章參考:Nat Electron 
影片來源:Regents of University of California 
圖片來源:cottonbro@Pexels



作者簡介

BioMeder

生醫人網摘的編輯。熱愛創新和用腦袋的事物,堅持文章一定要有邏輯性,藉由追蹤報導生醫領域的創新和應用來傳播知識。