清華開(kāi)發(fā)新型唇語(yǔ)解讀系統(tǒng) 有望幫助失聲人群交流

近日，清華大學(xué)機(jī)械工程系智能與生物機(jī)械團(tuán)隊(duì)和中科院北京納米能源與系統(tǒng)研究所團(tuán)隊(duì)合作，研發(fā)出了一種新穎的唇語(yǔ)解讀系統(tǒng)，相關(guān)研究成果在線發(fā)表在《自然·通訊》期刊上。

該系統(tǒng)包含基于原型學(xué)習(xí)的深度學(xué)習(xí)模型和低成本、自供電的柔性摩擦電傳感器。傳感器能夠把唇部肌肉運(yùn)動(dòng)產(chǎn)生的電信號(hào)傳輸?shù)浇獯a系統(tǒng)中，再將電信號(hào)轉(zhuǎn)化為用于溝通交流的語(yǔ)言。這項(xiàng)研究測(cè)試分析了傳感器的機(jī)械和電氣性能，采集并提取了選定元音、單詞、短語(yǔ)、無(wú)聲語(yǔ)音和發(fā)聲語(yǔ)音的唇動(dòng)信號(hào)特征，并證實(shí)無(wú)論是否發(fā)聲，嘴唇的運(yùn)動(dòng)和電信號(hào)都具有一致性。

在探究語(yǔ)速和唇動(dòng)模式等不同參數(shù)對(duì)信號(hào)特征的影響規(guī)律中，研究團(tuán)隊(duì)提出了一種基于原型學(xué)習(xí)的空洞循環(huán)神經(jīng)網(wǎng)絡(luò)模型，用于唇動(dòng)信號(hào)的識(shí)別，在20個(gè)分類（100樣本/類）情況下測(cè)試準(zhǔn)確率達(dá)到94.5%。柔性摩擦點(diǎn)傳感器使用柔性聚合物薄膜和柔性電極，人體佩戴舒適，在多種場(chǎng)景中應(yīng)用時(shí)，如移動(dòng)模型車的方向控制、解鎖大門的身份識(shí)別等，該系統(tǒng)都具備良好的可行性。

聲帶損傷或失聲的人群，在日常交流中，常用到手語(yǔ)和唇語(yǔ)，手語(yǔ)卻不是每個(gè)聽(tīng)眾都能看明白的。清華大學(xué)團(tuán)隊(duì)的這項(xiàng)發(fā)明，通過(guò)解讀唇語(yǔ)來(lái)幫助失聲人群的溝通交流，具有廣闊的前景，團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示，這項(xiàng)技術(shù)還面臨系統(tǒng)穩(wěn)定性、可靠性的問(wèn)題，將會(huì)繼續(xù)深入研究，有望為失聲人群切實(shí)提供無(wú)障礙語(yǔ)言交流的科技手段。

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com