手語(sign language)可以轉換成語音嗎?如果可以,是不是能讓手語人也能打電話,輕鬆的和不會手語的人溝通,日常生活溝通更方便呢?簡言之,就是需要一台即時手語翻譯機嘛!
手語專用手套
真實的手語,不僅只有手的動作,包含手臂、手肘,還需要搭配臉部的動作來表達。而詞彙很多,要表達的意思也很多,怎麼樣從這些手語動作來轉換成語音呢?美國UCLA近期在Nat Electron發表一篇研究,轉換手語成為英文字母語音。這篇研究開發一個具高延展性、高分子材料的手套,包含有一個硬幣大小的電路板,連結手套的每根手指,接上能感應手指變化的感應器,另外也設計能貼在使用者眉毛和嘴角邊的感測器。利用這樣的方式接收手語人的手語動作,無線傳輸訊號到手機App。此外,為更精準解讀複雜的手語,客製化一套機器學習(machine learning)演算法,手語人戴上手套後,可以先在系統上,重複一個動作數次,讓系統能精準解讀這個動作的意思。研究中提到,已經成功紀錄660個手語動作。
手語翻譯和學習
這個設計有什麼特別呢?以產品原型來講,算是相當經濟的設計。其實這樣的設計,過去也有過不少,但都不夠輕巧、簡單。研究員提到未來除了供給手語人日常溝通,還能讓非手語人,藉由這套系統,來學習手語。
應用面決定產品是否成功
看到這裡,有沒有什麼想法呢?應用面決定一個產品是不是實用和成功。如果未來能把所有組件,包含手套、App都整合到手套或者穿戴手錶內,手語人只需要戴手套和手錶出去,這個手套就能在比手語的時候發出語音,就能溝通啦。是不是很有發展成產品的機會呢?
文章參考:Nat Electron
影片來源:Regents of University of California
圖片來源:cottonbro@Pexels