清华可穿戴智能喉登nature子刊,实测准确率90%+,网友:@李雪健老师

QbitAl QbitAl     2023-03-15     577

关键词:

丰色 发自 凹非寺
量子位 | 公众号 QbitAI

将一块仅硬币大小的圆片,贴在喉咙处,嗓子有问题的人就可以重获新“声”了

这是清华大学发表在Nature子刊上的最新研究成果,一个用石墨烯材料做成的可穿戴喉咙

△ Nature Machine Intelligence(自然·机器智能)

它可以准确识别到佩戴者喉咙处的细微振动以及模糊的话语,然后将之合成为正常的语音,平均识别准确率高达99.05%。

据称,这款设备在噪音非常大的地方也好使。

如此一来,那些不能正常发声的人,包括喉切除患者、临时嗓子发炎者、长时间讲课的老师、在嘈杂环境工作但需要交流的人等,都有救了。


当然,还有不少人直接cue起了李雪健老师。

清华可穿戴智能喉,患者实测准确率91%

要说帮喉咙有问题的人解决交流问题,科学家早就在研究了。

不过此前的一些方案由于带有一系列外设或者多通道电极,通常具有侵入性且不够便携。

要解决这俩问题,需要感应器足够灵敏且小巧,在外部就能使用。

还需要足够贴合皮肤。

因为理论上,喉部的振动反映的是声带以及相关肌肉群的运动。

一些声带发声有障碍的人,可能会训练食管发声,因此,需要柔性传感器来保持对皮肤的贴合从而照顾到这一部位。

好在,有这么一种东西可以满足这些需要。

它就是用柔性激光直写(laser-scribed)石墨烯(LSG)制成的机械传感器,专门用于身体表面。

不过,由于不确定这种设备对低频肌肉运动和传递到皮肤表面的声音振动是否敏感,作者团队对它的蜂窝状微观结构进行了优化。

最终,它可以做到在>1000次的弯曲测试后仍表现出均匀稳定的灵敏度,准确识别出频率范围在100–20kHz之间的振动信息。

由于LSG薄膜具有导电性和导热性,这种设备也可以通过热声效应产生声音。在声音发射稳定性的实验中,作者证明它可以做到连续三小时都保持稳定。

下面是这款可穿戴智能喉的工作流程:

首先,设备将收集到的振动信息编码为标准脉冲编码调制(PCM)信号。

然后通过快速傅里叶变换(FFT)生成相应的频谱图。

接着通过模型进行外部处理和识别,将检测到的多模态信号转换为相应的语音。

最后通过热声效应驱动设备发声,帮助佩戴者完成交流。

实验表明,这款设备对音素、音调以及单词的识别准确率平均达到了99.05%。

下图则显示了设备在不同强度(dB)噪音下的识别精度。

可以看到,它在环境噪声超过60dB的情况下,也能保持识别能力,抗噪能力远远优于麦克风。

“Talk is cheap”,作者也进行了实战测试。

他们找来一位完成了喉切除(非全切)手术的志愿者,检测六个日常短句的识别情况。

从频谱图可以看出,可穿戴智能喉可以感知患者喉咙的发声振动。

不过由于发声器官不完整,患者有时会在说话时吞咽声音。不过微调模型仍然能够从信号中提取足够的信息,将识别准确率做到81.25%。

接着,他们又对用到的单个AlexNet模型进行了优化(Alex Net+ReliefF+SVM),最终实现了91%的识别精度。

总的来说,由于制造工艺可行、灵敏度高、性能稳定、抗噪能力强以及集成了发声能力,作者认为,这款可穿戴喉咙可以成为下一代语音识别和交互系统的理想工具。

而网友们也脑洞大开:

有让加个音色调节的过滤器,变成可穿戴变声器的;

也有说来个实时翻译,就让人直接拥有说多种语言的能力的。

你觉得还有哪些妙用?

论文地址: 

https://www.nature.com/articles/s42256-023-00616-6

参考链接:
https://weibo.com/1231317854/MwsEvkugi?refer_flag=1001030103_

「中国AIGC产业峰会」启动

邀您共襄盛举

「中国AIGC产业峰会」即将在今年3月举办,峰会将邀请AIGC产业相关领域的专家学者,共同探讨生成新世界的过去、现在和未来。

峰会上还将发布《中国AIGC产业全景报告暨AIGC 50》,全面立体描绘我国当前AIGC产业的竞争力图谱。点击链接或下方图片查看大会详情:

被ChatGPT带飞的AIGC如何在中国落地?量子位邀你共同参与中国AIGC产业峰会

点这里👇关注我,记得标星哦~

为衣服添加nfc功能:挥下袖子就能安全支付,打开车门坐进去就能启动汽车|nature子刊...

...通过把先进的磁性超材料集成到日常衣物上,成功让穿戴者与附近的NFC设备实现数字交互。△ 相关研究已登上Nature子刊并且,相比传统的NFC功能只能在10cm之内生效,这样的衣服在1.2米之内都有信号。哇,这是到... 查看详情

类脑芯片怎么搞?哈佛:直接复制粘贴神经元|nature子刊

点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:量子位类脑芯片,到底该怎么做?最近,三星联合哈佛大... 查看详情

原来水滴用的是超音速爆炸攻击|nature子刊

梦晨鱼羊发自凹非寺量子位|公众号QbitAI水滴石穿,本来寓意是“即使是细微的力量,只要坚持也能成大事”。但最新研究结论却颠覆了固有认知:每一滴下落的水滴都搞出了超音速冲击波,相当于一个小型“炸弹... 查看详情

智能穿戴走向衰落,宠物智能穿戴却异军突起?

...NBC报道称,英特尔已经彻底裁掉包括健身追踪器在内的可穿戴设备部门,转向AR的技术研发。纵观智能穿戴市场,表面上苹果、三星、谷歌、小米等众多巨头在智能穿戴领域都还挺活跃,不少科技公司也积极覆盖细分领域,但智... 查看详情

哈腰驼背会变傻,男的年龄越大越明显|nature子刊

...知能力之间有很大的相关性,相关成果已在《Nature》子刊ScientificReports上发表。以往说到驼背的危害,听到的都是体态、气质上的变化,最严重的也就是影响运动能力,“变傻”还 查看详情

ai力量大集结!中国团队首次在nature子刊发布中国ai全景论文

  AI力量大集结!中国团队首次在Nature子刊发布中国AI全景论文  由AI青年科学家联盟牵头,15位国内大学教授和企业界AI领军人物合作在NatureMachineIntelligence上发布了AIinChina的全景报告。  今年6月,由AI青年科学家联盟·... 查看详情

植入「电子神经」,瘫痪小鼠也能踢球,鲍哲南团队成果登nature子刊

...力的小鼠竟直接踢起了球。这事儿如今真真发表在了Nature子刊《自然·生物医学工程》上,研究团队由知名华裔科学家鲍哲南领衔。并且这么一根人造“神经”,就像真正的神经一样,是通过向器官传递生物神经信号... 查看详情

类脑芯片怎么搞?三星&哈佛:直接复制粘贴神经元|nature子刊

...究是当前的技术无法企及的,因此最近还登上了Nature子刊。具体而言,就是通过将大脑神经元连接图,“复制粘贴”到固态存储器的高密度3D存储 查看详情

已经凉了的智能可穿戴,可能在2018年回魂吗?

最近Android给出了一批可以搭载Android8.0系统Oreo的智能穿戴名单,一下子让我想起了这个已经凉了的领域……注意,我说的是智能穿戴,不是Android8.0哦。其实这个名单,也可以被看做“智能穿戴幸存者”名单了,已经能用上Oreo的... 查看详情

实现“熟睡自由”,戴个头带就可以|nature子刊

金磊发自凹非寺量子位|公众号QbitAI想睡觉睡得更香吗?戴上这个头带,或许就可以实现“熟睡自由”。这就是来自苏黎世联邦理工学院(ETH)的一项最新研究——一款名为SleepLoop的实验性头戴式装置。据了解࿰... 查看详情

小时候糖吃多了,长大后记性会变差|nature子刊最新研究

...#xff0c;会损伤成年后的记忆功能。△ 研究结果发表在Nature子刊怎么回事?光是蛀牙和肥胖等危害还不够?如何得出的这个结论?科学家 查看详情

@不爱运动的人:每天4次1分钟的日常活动,全因死亡风险降低40%|nature子刊

...位|公众号QbitAI@不爱运动的人,好消息来了。Nature子刊NatureMedicine上一项最新研究表明:每天3到4次、每次1分钟的高强度日常身体活动就能降低40%的全因死亡风险。可不要被高强度(vigorous)这个词吓到了。在这... 查看详情

腾讯研究成果登nature子刊:scbert攻克单细胞测序数据分析痛点

新研究成果对精准医疗打开了新思路AI在生物信息学领域再次展现了强大的功效。最近,研究人员首次将BERT预训练和微调的范式引入单细胞转录组数据分析中。9月27日,腾讯AILab公布「AI+生命科学」跨学科应用领域的最新研究成... 查看详情

学术圈也能“子承父业”?近1/4终身教授的父母是博士,名校概率翻倍|nature子刊...

...的发现暴露了学术界持续存在的不平等。”这话出自Nature子刊的副主编ArunasRadzvilavicius之口。让他感到震惊的是一篇最新论文揭示的美国学术圈现象:近四分之一终身教授的父母拥有博士学位,这个比例是普通人口的25倍... 查看详情

跑得比猎豹快的机器人来了,还能游泳跳跃,大小仅为毫米级|nature子刊

Alex发自凹非寺量子位|公众号QbitAI各位请打开脑洞,猜猜比猎豹跑得还快的机器人长什么样?答案揭晓——△为了让人看清楚,将动作放慢了10倍是不是和你想象中的不太一样?首先这个小家伙确实是机器人,... 查看详情

中科院deepmind联手,用深度学习揭示大脑如何识别人脸|nature子刊

梦晨发自凹非寺量子位报道|公众号QbitAIDeepMind和中科院神经科学研究所联手了。他们用无监督深度学习揭示出大脑识别人脸的机制。具体来说,大脑会把面部特征分解成一些语义特征,如年龄、性别或是否在微笑,而... 查看详情

nature子刊:一个从大脑结构中识别阿尔茨海默病维度表征的深度学习框架

脑部疾病的异质性是精准诊断/预后的一个挑战。作者描述并验证了一种名为Smile-GAN(SeMI-supervisedcLustEring-GenerativeAdversarialNetwork),的半监督深度聚类方法,它研究了与正常大脑结构对比的神经解剖学异质性,... 查看详情

腾讯研究成果登nature子刊:scbert攻克单细胞测序数据分析痛点

新研究成果对精准医疗打开了新思路AI在生物信息学领域再次展现了强大的功效。最近,研究人员受大规模预训练模型BERT的通过预训练和微调范式来提高AI模型泛化性的启发,开发出了用于对scRNA-seq数据进行细胞注释的scBERT(sing... 查看详情