清華開發新型唇語解讀系統 有望幫助失聲人群交流

近日，清華大學機械工程系智能與生物機械團隊和中科院北京納米能源與系統研究所團隊合作，研發出了一種新穎的唇語解讀系統，相關研究成果在線發表在《自然·通訊》期刊上。

該系統包含基于原型學習的深度學習模型和低成本、自供電的柔性摩擦電傳感器。傳感器能夠把唇部肌肉運動產生的電信號傳輸到解碼系統中，再將電信號轉化為用于溝通交流的語言。這項研究測試分析了傳感器的機械和電氣性能，采集并提取了選定元音、單詞、短語、無聲語音和發聲語音的唇動信號特征，并證實無論是否發聲，嘴唇的運動和電信號都具有一致性。

在探究語速和唇動模式等不同參數對信號特征的影響規律中，研究團隊提出了一種基于原型學習的空洞循環神經網絡模型，用于唇動信號的識別，在20個分類（100樣本/類）情況下測試準確率達到94.5%。柔性摩擦點傳感器使用柔性聚合物薄膜和柔性電極，人體佩戴舒適，在多種場景中應用時，如移動模型車的方向控制、解鎖大門的身份識別等，該系統都具備良好的可行性。

聲帶損傷或失聲的人群，在日常交流中，常用到手語和唇語，手語卻不是每個聽眾都能看明白的。清華大學團隊的這項發明，通過解讀唇語來幫助失聲人群的溝通交流，具有廣闊的前景，團隊相關負責人表示，這項技術還面臨系統穩定性、可靠性的問題，將會繼續深入研究，有望為失聲人群切實提供無障礙語言交流的科技手段。

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:0731-84117792 E-MAIL:11247931@qq.com