gan靠「伪造思维」登上nature子刊:首次合成神经活动数据,脑机接口训练速度提升20倍...

QbitAl QbitAl     2023-02-11     696

关键词:

博雯 梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI

GAN这回玩了票大的,把手伸向了“人脑思维”。

没错,直接就是一个“合成思维”——生成用来喂给脑机接口的那种大脑活动数据。

作者表示,这是AI首次在该领域被应用。

并且这项技术一举把训练脑机接口系统提取、分析大脑信号的时间,提高了整整20倍

此项研究来自南加大华人博士温士贤团队。

论文已发表在Nature子刊上。

而在我们与作者温士贤的深入交谈中,他表示会继续推进相关研究:

这项研究成果未来可以用于诸多神经解码问题上,自己也会继续在失眠、自闭症、多动症、阿兹海默症等疾病的个性化的干预和阻断上进行研究。

首次用AI合成“思维”

可是问题就来了,为什么要用AI去“伪造”神经活动数据呢?

直接用人类的不好吗?

还真不一定好。

比如,今年5月份登上Nature封面的意念打字研究,这位代号T5,全身瘫痪的老爷子是唯一的受试者:

模型所需的训练数据,就是这位老爷子在脑中一笔一画“写”出来的字母:

在脑海中想象文字的轨迹和手动书写本来就难度不同,而模型需要的还不仅是几个字母,而是大量重复的书写数据。

要让一位残疾人每天花几个小时去做重复任务,不仅辛苦,数据收集的速度和数据集最终的大小自然都非常有限。

而在要让算法解读神经活动信号的脑机接口,本身也是一个机器学习问题。

因此,算法效果当然会依赖于巨量训练数据的支撑,而在实际实验中,真不一定弄得到那么多数据。

就算有充足的可用数据,不同受试对象的神经元信号也存在差异。

一个人的数据训练出来的解码算法要应用到另一个人身上,就必须重头再来。

除此之外,就算是同主体上的解码算法的效果,也会随着时间推移而变差,需要定期重新校准。

更何况,有些最需要脑机接口帮助的残障人士,因神经系统损坏已经无法发送相应的信号了。

那么,要如何解决或者改善上面这些问题呢?

温士贤博士表示:

GAN就完事儿了。

让猴子玩贪吃蛇

这次研究的被试者是两只小猴子,它们需要完成的任务很简单。

屏幕上会有物体在随机位置出现,小猴子要用摇杆控制屏幕上的光标去接触这个物体。

结合论文的配图一看,大概类似于贪吃蛇?

小猴子手臂处植入的电极阵列会采集神经的运动控制(Motor Control)信号。

初级运动皮层的神经元会以1-2毫秒间隔释放100毫伏左右的间歇性脉冲,神经元每次激发就会产生一个峰值。

这种活动模式被叫做峰电位序列 (Spike Train)。

真实神经元的峰电位序列

研究人员先用双向LSTM网络设计了GAN中的生成器和鉴别器,用采集到的神经数据加上随机高斯噪声来合成新的数据。

研究要解决的关键问题,是如何只用少量真实采集的数据来生产可用的合成数据。

合成的峰电位序列

对于神经信号来说,合成数据的可用性面临两个问题:

不同个体产生的信号有不同模式,就连同一个体在不同时间的神经信号也会不同。

而之前的步骤就相当于预训练,下一步就是针对这些情况来微调。

结合另一只猴子或同一只猴子在不同时间采集的数据来作微调,最终产生大量可适用于不同情况的峰电位序列。

最后一步就是验证用少量真实数据+大量合成的数据训练脑机接口解码器,以验证效果。

最终他们只用不到1分钟的真实数据加上合成数据,就能当20分钟的真实数据用。

论文最后提到,虽然这次研究只实验了猴子的运动控制信号,不过研究所用的方法是纯数据驱动的,不对运动控制问题有额外的设计。

换句话说,这篇论文提出的方法是通用的,如果用于其他神经的编码解码问题,只需要做最小限度的修改即可。

论文第一作者温士贤在与杜克大学脑机接口专家Miguel Nicolelis合作的另一项研究中还做了让小猴子玩跑步机的实验。

温士贤表示,这是AI第一次用于合成思维或运动信号,能推进脑机接口技术的进一步应用落地。

不过还有最后一个问题,以猴子为实验对象做出来的方法能不能迁移到人类身上?

在与量子位的交流中,温士贤认为仅从解码算法的角度来看问题不大,研究中已经考虑到了这一点。

更多的问题是脑机接口硬件和材料的设计问题,比如设备和人类生物细胞的兼容度,还有采集芯片怎么快速和安全的植入到正确的位置等。

“脑机接口的重点还是科学”

论文的一作温士贤本科毕业于北京交通大学,现在是一名南加州大学维特比工程学院的博士生,就读于计算机系,主要研究方向是AI和神经科学。

而他的导师是南加州大学的计算机科学,心理学和神经科学的副教授Laurent Itti。

Laurent Itti主要研究视觉注意、场景理解、眼球运动控制等领域,同时也是多个开源的神经形态视觉软件工具包的开发者。

脑机接口其实并不是导师Itti的主要研究方向,神经科学一开始只是温士贤自己的兴趣。

在研究生期间,又一次他看到杜克大学脑机接口专家Miguel Nicolelis教授著名的TED演讲,介绍了他们如何用脑机接口帮助一个瘫痪青年用意念在巴西足球世界杯上开了第一球。

后来更是有机会到Nicolelis教授的实验室实习,这一实验室的研究成果中,有很多通过脑机接口技术帮助残疾人的案例。

这算是我第一次和脑机接口“结缘”。

而这次的论文是温士贤自己拉来日内瓦大学和美国西北大学的研究者一起合作完成。

现在,温士贤即将博士毕业,而他也选择继续在AI+神经科学的方向从业。

目前他已经面试了一些国内的大学和研究机构,以及当红的脑机接口公司,已经拿到一些不错的Offer。

而关于脑机接口,神经科学的行业现状和趋势,温士贤表示:

脑科学的市场本身有巨大的需求,比如Neuralink的脑疾病治疗、Apple的mental health评估、Meta的Ctrl lab在元宇宙中改善人机交互的硬件等等。

所以它的重点还是科学,而不是比谁的市场化做的更好。

因此,这种商业模式是最有利于我们这种科研人员创业的。

论文地址:
https://www.nature.com/articles/s41551-021-00811-z

参考链接:
[1]https://viterbischool.usc.edu/news/2021/11/deepfaking-the-mind-could-improve-brain-computer-interfaces-for-people-with-disabilities/
[2]https://www.stat.cmu.edu/~kass/papers/SpikeTrain.pdf

日本搞出奇妙充电屋,坐在任意位置都能隔空充电!研究登上nature子刊

丰色发自凹非寺量子位报道|公众号QbitAI现在的无线手机充电好是好,但只能牢牢拴在充电板上充。有没有可能像无处不在的WIFI一样随时为我们的手机充电呢?东京大学和密歇根大学的研究人员发明了这样一个无线充电室... 查看详情

北大新研究用数学模型揭网红崛起奥秘,登上nature子刊

关于推荐系统在社交媒体平台上的作用,及其对用户行为的影响的初步结果,可能进一步扩展。​【导读】社交媒体上的「网红」是怎样产生的?在一项发表于《自然·通讯》的研究中,北京大学与瑞士苏黎世联... 查看详情

类脑芯片怎么搞?三星&哈佛:直接复制粘贴神经元|nature子刊

...#xff0c;这项研究是当前的技术无法企及的,因此最近还登上了Nature子刊。具体而言,就是通过将大脑神经元连接图,“复制粘贴”到固态存储器的高密度3D存储 查看详情

nature子刊:一个从大脑结构中识别阿尔茨海默病维度表征的深度学习框架

脑部疾病的异质性是精准诊断/预后的一个挑战。作者描述并验证了一种名为Smile-GAN(SeMI-supervisedcLustEring-GenerativeAdversarialNetwork),的半监督深度聚类方法,它研究了与正常大脑结构对比的神经解剖学异质性,... 查看详情

腾讯研究成果登nature子刊:scbert攻克单细胞测序数据分析痛点

新研究成果对精准医疗打开了新思路AI在生物信息学领域再次展现了强大的功效。最近,研究人员首次将BERT预训练和微调的范式引入单细胞转录组数据分析中。9月27日,腾讯AILab公布「AI+生命科学」跨学科应用领域的最新研究成... 查看详情

小时候糖吃多了,长大后记性会变差|nature子刊最新研究

...#xff0c;会损伤成年后的记忆功能。△ 研究结果发表在Nature子刊怎么回事?光是蛀牙和肥胖等危害还不够?如何得出的这个结论?科学家 查看详情

腾讯研究成果登nature子刊:scbert攻克单细胞测序数据分析痛点

新研究成果对精准医疗打开了新思路AI在生物信息学领域再次展现了强大的功效。最近,研究人员受大规模预训练模型BERT的通过预训练和微调范式来提高AI模型泛化性的启发,开发出了用于对scRNA-seq数据进行细胞注释的scBERT(sing... 查看详情

腾讯研究成果登nature子刊:scbert攻克单细胞测序数据分析痛点

新研究成果对精准医疗打开了新思路AI在生物信息学领域再次展现了强大的功效。最近,研究人员受大规模预训练模型BERT的通过预训练和微调范式来提高AI模型泛化性的启发,开发出了用于对scRNA-seq数据进行细胞注释的scBERT(sing... 查看详情

哈腰驼背会变傻,男的年龄越大越明显|nature子刊

...知能力之间有很大的相关性,相关成果已在《Nature》子刊ScientificReports上发表。以往说到驼背的危害,听到的都是体态、气质上的变化,最严重的也就是影响运动能力,“变傻”还 查看详情

植入「电子神经」,瘫痪小鼠也能踢球,鲍哲南团队成果登nature子刊

...力的小鼠竟直接踢起了球。这事儿如今真真发表在了Nature子刊《自然·生物医学工程》上,研究团队由知名华裔科学家鲍哲南领衔。并且这么一根人造“神经”,就像真正的神经一样,是通过向器官传递生物神经信号... 查看详情

实现“熟睡自由”,戴个头带就可以|nature子刊

金磊发自凹非寺量子位|公众号QbitAI想睡觉睡得更香吗?戴上这个头带,或许就可以实现“熟睡自由”。这就是来自苏黎世联邦理工学院(ETH)的一项最新研究——一款名为SleepLoop的实验性头戴式装置。据了解࿰... 查看详情

@不爱运动的人:每天4次1分钟的日常活动,全因死亡风险降低40%|nature子刊

...位|公众号QbitAI@不爱运动的人,好消息来了。Nature子刊NatureMedicine上一项最新研究表明:每天3到4次、每次1分钟的高强度日常身体活动就能降低40%的全因死亡风险。可不要被高强度(vigorous)这个词吓到了。在这... 查看详情

学术圈也能“子承父业”?近1/4终身教授的父母是博士,名校概率翻倍|nature子刊...

...的发现暴露了学术界持续存在的不平等。”这话出自Nature子刊的副主编ArunasRadzvilavicius之口。让他感到震惊的是一篇最新论文揭示的美国学术圈现象:近四分之一终身教授的父母拥有博士学位,这个比例是普通人口的25倍... 查看详情

原来水滴用的是超音速爆炸攻击|nature子刊

梦晨鱼羊发自凹非寺量子位|公众号QbitAI水滴石穿,本来寓意是“即使是细微的力量,只要坚持也能成大事”。但最新研究结论却颠覆了固有认知:每一滴下落的水滴都搞出了超音速冲击波,相当于一个小型“炸弹... 查看详情

类脑芯片怎么搞?哈佛:直接复制粘贴神经元|nature子刊

点上方人工智能算法与Python大数据获取更多干货在右上方 ··· 设为星标 ★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于:量子位类脑芯片,到底该怎么做?最近,三星联合哈佛大... 查看详情

3根机械手指打《超级马里奥》登上science子刊

丰色发自凹非寺量子位报道|公众号QbitAI见过了机械手捏易拉罐、盘“核桃”、玩魔方……见过它玩超级马里奥吗?下面就有一只只有3根手指头的机械手,“气定神闲”地操纵着游戏手柄顺利通过马里奥第一关。ps.是不是... 查看详情

中科院deepmind联手,用深度学习揭示大脑如何识别人脸|nature子刊

梦晨发自凹非寺量子位报道|公众号QbitAIDeepMind和中科院神经科学研究所联手了。他们用无监督深度学习揭示出大脑识别人脸的机制。具体来说,大脑会把面部特征分解成一些语义特征,如年龄、性别或是否在微笑,而... 查看详情

清华可穿戴智能喉登nature子刊,实测准确率90%+,网友:@李雪健老师

...题的人就可以重获新“声”了。这是清华大学发表在Nature子刊上的最新研究成果,一个用石墨烯材料做成的可穿戴喉咙。△NatureMachineIntelligence(自然·机器智能)它可以准确识别到佩戴者喉咙处的细微振动以及模糊的... 查看详情