AI辅助发音:没有声带,人也能说话了

2024-03-13
关注
在人工智能(AI)一种新型的柔性贴片有望帮助一些声音障碍患者实现有效的沟通。加州大学洛杉矶分校生物工程系助理教授陈军及其团队开发了一种“柔性贴片”助听装置,可以在机器学习的帮助下将喉咙肌肉运动转化为语音。该装置基于磁弹性效应,使有声带障碍的患者能够通过肌肉运动产生语音信号,从而辅助其语音功能。具体来说,该助听器首先收集患者喉部肌肉运动的数据,然后借助机器学习算法对这些信号进行分析分类,最后识别语义信息,选择相应的语音信号进行输出。图|可穿戴柔性贴片示意图附在喉咙上。据报道,该助听装置采用磁弹性材料,具有重量轻、可拉伸性高、信噪比高等特点,保证了设备的舒适性和可穿戴性。此外,这种助听装置也实现了自供电。研究团队对 8 没有声音障碍的受试者被要求在站立、行走和跑步时小声说一些单词和短语,比如“Merry Christmas”或“I love you”。结果表明,助听装置的准确性可以达到 95%。相关研究论文以“相关研究论文”为基础Speaking without vocal folds using a machine-learning-assisted wearable sensing-actuation system“题目,刚刚发表在科学期刊上 Nature Communications 上。研究小组认为,助听器采用了不依赖传统声带的全新技术手段,为语音障碍患者提供了新的沟通方式。在患者进一步测试后,助听器或声音障碍的个体可以更方便地沟通和交流,从而提高整体生活质量。柔性贴片说话是人际交往中最重要的组成部分,但对于有声带功能障碍的人来说,说话是一件困难的事情。生命中,约定 30% 人们至少经历过一次声音障碍。现有的解决方案,如手持电子喉设备或手术,或多或少都有影响日常生活、使用不适等问题。因此,为了提高声带功能障碍患者的生活质量,迫切需要一种可穿戴、非植入式的医疗装置来帮助患者沟通。在这项研究中,陈军团队设计的柔性磁弹性贴片不仅可以非常舒展地贴在患者的喉咙上,还可以随着参与演讲运动的喉咙肌肉改变形状,不需要功能正常的声带。同时,贴片的运动可以检测到特定的肌肉运动和发电,使助听器实现自供电。这些运动随后被转换成电信号,并由机器学习算法处理。这种算法可以识别词汇并将其翻译成语言信号。图|磁弹性层结构参数。边长为 30mm。12 直径为半圆形单元 2.16 毫米,在蛇形铜线圈中,跨度 25.92 毫米。比例尺为 10 毫米。根据论文描述,整个过程包括信号采集、特征提取和压缩、机器学习分类和声音输出四个环节。具体来说,助听装置利用磁性材料与软物质系统中磁性粉末的相互作用,可以导致材料的变形或运动,从而实现喉肌运动的信号采集。然后,采集到的信号通过特征提取和压缩,并使用主要成分进行分析(PCA)将每个语音信号压缩成一个 N 阶矩阵,减少数据冗余,并为后续分类做好准备。然后,将特征提取和压缩后的信号输入机器学习算法进行分类。一旦机器学习算法对信号进行分类,设备将选择相应的声音信号进行输出。最后,通过助听装置的驱动部分播放这些预先录制的声音信号,从而实现相应语音信号的输出,帮助用户辅助说话。图|机器学习辅助无声带可穿戴语音装置的测试结果表明,即使在连续工作40分钟后,助听装置的声压和温度也没有显著降低或升高。这说明了助听器在声音输出方面的耐久性和安全性。在耐汗性测试中,研究小组使用人工汗液来模拟真实的使用环境。结果表明,即使出汗,助听装置的性能也非常稳定,没有明显的信号衰减。研究小组从不同的正常对话角度测试了助听装置的声音输出。结果表明,助听装置从各个角度表现出可靠的声音性能,使其能够在各种现实生活场景中提供辅助语言。然而,这种助听装置仍然有一些局限性,可以真正帮助有声带障碍的患者。例如,研究中使用的实验样本量相对较小,只包括特定年龄和性别的参与者,可能不能完全代表整个群体。未来的研究可以扩大样本量和范围,覆盖更广泛的人群。此外,人工汗液被用来模拟汗液环境,但这种环境仍然不同于真实的生理环境。为了更好地评估助听装置在实际使用中的表现,未来的研究可以更接近真实的生理环境。近年来,可穿戴设备的发展不断突破人类的想象。例如,一顶可清洗的帽子可以帮助视障人士感知交通信号灯的变化,或者当穿着者浏览博物馆时,一件衣服可以作为导游。上个月发表了相关研究。 Nature 上。同样在上个月发表的 Nature Communications 在最后一项研究中,介绍了一种可穿戴的情感识别系统,可以通过特殊的传感器单元,同时感知面部和声音表达产生的信号,从而实现对人类情感的准确识别。此外,去年南开大学的研究团队 Science 本文介绍了一种“冬季取暖神器”,实现了全天太阳能供电的双向温度调节。同样,可穿戴设备也可以变成任何变形的交互式屏幕。屏幕的显示内容和呈现形式可以根据您的即时交互内容实时改变,甚至让您有身临其境的感官体验。在未来,当想象力乘坐技术发展的快车时,这些可穿戴设备将使人类的生活在各种意义上变得方便和美丽。参考链接:https://www.nature.com/articles/s41467-024-45915-7 https://samueli.ucla.edu/people/jun-chen/本文微信微信官方账号:学术头条 (ID:SciTouTiao),作者:学术头条
您觉得本篇内容如何
评分

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘