清华开发新型唇语解读系统 有望帮助失声人群交流

近日，清华大学机械工程系智能与生物机械团队和中科院北京纳米能源与系统研究所团队合作，研发出了一种新颖的唇语解读系统，相关研究成果在线发表在《自然·通讯》期刊上。

该系统包含基于原型学习的深度学习模型和低成本、自供电的柔性摩擦电传感器。传感器能够把唇部肌肉运动产生的电信号传输到解码系统中，再将电信号转化为用于沟通交流的语言。这项研究测试分析了传感器的机械和电气性能，采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征，并证实无论是否发声，嘴唇的运动和电信号都具有一致性。

在探究语速和唇动模式等不同参数对信号特征的影响规律中，研究团队提出了一种基于原型学习的空洞循环神经网络模型，用于唇动信号的识别，在20个分类（100样本/类）情况下测试准确率达到94.5%。柔性摩擦点传感器使用柔性聚合物薄膜和柔性电极，人体佩戴舒适，在多种场景中应用时，如移动模型车的方向控制、解锁大门的身份识别等，该系统都具备良好的可行性。

声带损伤或失声的人群，在日常交流中，常用到手语和唇语，手语却不是每个听众都能看明白的。清华大学团队的这项发明，通过解读唇语来帮助失声人群的沟通交流，具有广阔的前景，团队相关负责人表示，这项技术还面临系统稳定性、可靠性的问题，将会继续深入研究，有望为失声人群切实提供无障碍语言交流的科技手段。