关键词：
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
不用人工标注，也能让AI学会听音寻物。
还能用在包含多种声音的复杂环境中。
比如这个演奏会视频，AI就能判断出哪些乐器在发声，还能定位出各自的位置。
这是中国人民大学高瓴人工智能学院最近提出的新框架。
对于人类而言，听音识物是一件小事，但是放在AI身上就不一样了。
因为视觉和音频之间对应关系无法直接关联，过去算法往往依赖于手动转换或者人工标注。
现在，研究团队使用聚类的方法，让AI能够轻松识别各种乐器、动物以及日常生活中会出现的声音。
同时，这一方法还能迁移到无监督的物体检测任务中，其成果被发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence》 (TPAMI)。
构建物体视觉表征字典
具体来看这个框架，可以分为两个阶段：
在第一阶段，AI要在单一声源场景中学习物体的视觉-音频表征；然后再将这一框架迁移到多声源场景下，通过训练来辨别更多的声源。
通俗一点来讲，就是让AI先能把一种声音和其声源物体的样子联系起来，然后再让它在“大杂烩”里分辨不同的种类。
以听音乐会举例。
研究人员喂给AI的都是乐器独奏视频，可能包含大提琴、萨克斯风、吉他等等。
然后运用聚类的方法，让AI把所有的样本进行划分。聚类的每一个簇，被认为能够代表一种语义类别的视觉表征集合。
由此一来，AI便在无形之中掌握了不同乐器在外观和声音上的关系，也就是可以听音识物了。
在这个过程中，研究人员针对每个簇进行特征提取并打上伪标签，可以构建出一个物体视觉表征字典。
第二阶段中，研究人员让这个框架先能从视觉方面定位出画面中存在的不同物体，然后再根据声音信息过滤掉不发声物体。
其中，定位物体这一步用到了第一阶段中得出的物体视觉表征字典。
具体来看，对于某一帧多声源的场景，AI会先从画面中提取到不同物体的特征，然后再和字典中的各个类别比对，从而完成听音识物的初步定位。
之后，将画面中存在物体的定位结果与发声区域进行哈达玛积，过滤掉不发声的物体，同时还能细化发声物体的定位结果。
从直观识别效果中看，该方法能够很好辨别画面中的发声物体，而且在视觉识别准确度上表现也更好。
△每行前3张为真实演奏场景，后4张为合成场景
在具体表现上，研究人员分别使用了合成音乐、二重奏等4个数据集来测试这个框架识别的水平。
结果显示，此次提出的新方法表现都非常nice，尤其是在乐器分布更加均衡的数据集上。
那么不听音乐、只听日常的声音，表现又会如何呢？
作者分别展示了成功和失败的一些例子：
△一些成功案例
△一些失败案例
作者表示，出现失败的情况中，一方面是无法定位到正确的声源位置（如上图第一行）。
还有一些是不能辨别某些场景中的特定声音（如上图第二行）。
此外，这种方法还能迁移到物体检测任务中去。比如在ImageNet子集上的无监督物体检测表现也值得关注。
团队主要来自人大AI学院
本项研究由中国人民大学高瓴人工智能学院主导，通讯作者为GeWu实验室胡迪助理教授，主要内容由GeWu实验室博士生卫雅珂负责。
胡迪于2019年博士毕业自西北工业大学，师从李学龙教授。曾荣获2020年中国人工智能学会优博奖，受中国科协青年人才托举工程资助。
主要研究方向为机器多模态感知与学习，以主要作者身份在领域顶级国际会议及期刊上发表论文20余篇。
中国人民大学文继荣教授也参与了此项研究。
他目前为中国人民大学高瓴人工智能学院执行院长、信息学院院长。
主要研究方向为信息检索、数据挖掘与机器学习、大模型神经网络模型的训练与应用。
论文地址：
https://arxiv.org/abs/2112.11749
项目主页：
https://gewu-lab.github.io/CSOL_TPAMI2021/
论文阅读monailabel：人工智能辅助的3d医学图像交互式标注框架
...为手动注释既昂贵又耗时。为了解决这个问题，我们提出了MONAILabel，这是一个免费的开源平台，有助于开发基于AI的应用程序，旨在减少注释3D医学图像数据集所需的时间。通过MONAILabel，研究人员可以开发专... 查看详情
随着ai产业落地成为主旋律，对于数据标注行业提出了怎样的需求？
需求方对垂直场景的定制化数据采标需求成为主流；行业洗牌期来临，会淘汰大量中小数据标注服务商；AI在数据标注的过程中将扮演更加重要的角色。参考技术A数据标注就是依附于人工智能算法的行业简单说就是纯粹的乙方，... 查看详情
数据标注有发展前景吗？
目前人工智能商业化在算力、算法和技术方面基本达到阶段性成熟，想要更加落地，解决行业具体痛点，需要大量经过标注处理的相关数据做算法训练支撑，可以说数据决定了AI的落地程度。目前，我国人工智能行业呈现良好的... 查看详情
ai史话
...议都讨论到了。例如自然语言处理、机器学习等等。并且提出了人工智能的愿景，其中包括创建可以像人类一样推理、学习和交流的智能机器。这一愿景引发了该领域的研究和创新浪潮。会议前后，JohnMcCarthy和他的同事开发了第... 查看详情
清华大学提出全新微调框架cpt
...题就是训练过程和推理过程不匹配。清华大学孙茂松团队提出了一个全新的微调框架CPT，用颜色来遮蔽、融合 查看详情
ai看唇语，在嘈杂场景的语音识别准确率高达75%
...视觉线索在语言学习中起着关键的作用。相比之下，人工智能语言识别系统主要是建立在音频上。而且需要大量数据来训练，通常需要数万小时的记录。为了研究视觉效果 查看详情
如何运营一家数据标注公司（资源特点篇）
...面对的甲方：AI公司、AI企业、AI研究所。那么问题来了，人工智能公司、人工智能企业、人工智能研究所多种多样，作为一个数据标注公司应该如何定义自己的服务方向呢？首先我们要能够准确的了解资源公司的特点，这样才能... 查看详情
ai行业精选日报_人工智能（12·25）
...无人机检查建筑物质量据Engadget报道，纽约市议会的议员提出了一项法案，要求建筑部门在接到有关建筑物投诉或确认建筑物违规后，在48小时内动用无人机进行检查。根据这项拟议中的法案，无人机将使用一个红外线和两个传... 查看详情
清华大学美女学霸“华智冰”是假的？--人工智能（ai）的前世今生
近期清华大学首个人工智能学生华智冰火爆全网的，虽然“她”技能爆表，但也只是“假的”。她是由北京智源人工智能研究院、智谱AI团队、小冰公司联合研发。那么我们就来看看什么是人工智能，以及人工智能的... 查看详情
盘古开源：“大数据+ai”，将成为大数据标注领域发展的重要趋势
大数据、云计算和人工智能等技术快速发展的同时，数据标注服务逐渐成为了新形势下商业价值凸显的重要抓手。然而，数据标注行业内部依然面临着大量的“二次加工”机会和难题，亟待进一步培育和完善。数据标... 查看详情
人工智能|解读斯坦福大学《aiindex2017年度报告》
AIIndex（直译：人工智能指数）是一个追踪AI动态和进展非营利性的项目，由斯坦福大学创立，是“斯坦福的100年人工智能学习历程”项目之一，旨在研究过去百年来的AI总体状况，目标是促进基于数据的AI的广泛交流和有效对话... 查看详情
破解ai开课难题！2021全国人工智能师资培训落地厦门大学
随着智能化建设的不断深入，人工智能产业发展成为各界关注焦点。2018年至今，中国正在和即将开展AI教育的高校已接近500所。然而AI领域办学时间短、经验少、师资力量薄弱等难题仍在困扰着高校教学。高校AI教师的培... 查看详情
人工智能数据标注这些年：从幕后到前台丨曼孚科技
“你了解人工智能行业吗?”?10个人中可能有9个人会给出肯定的回答。“你了解数据标注行业吗?”10个人中可能有9个人会茫然地摇头。与处在聚光灯中心的人工智能科技公司不同，数据标注行业长期处于聚光灯之外的灰色地带，... 查看详情
破局ai落地难，数据标注行业需率先变革丨曼孚科技
?2019年，国内人工智能领域的投融资热情大幅降低，相当数量的AI企业彻底消失在了历史的长河中，“人工智能寒潮已至”甚至成为行业年度热词。与前几年创业与投资热情齐头并进的盛况相比，近段时间的AI行业显然萧条... 查看详情
人工智能之数据标注
随着人工智能在实践上的不断突破，越来越多的创业公司加入到AI相关业务的创业大潮，伴随着这股潮流关于AI投资也持续高涨，无论是从投资金额，还是投资频次上看都表明市场对AI市场发展的信心与日俱增。一、什么是数据标... 查看详情
数据标注有发展前景吗？
...经验在工作中积累。标注员是对数据进行标注。因为对于人工智能企业来说，优质的数据是不可或缺的。换而言之，数据的真正价值不在于数据本身，而在于数据背后所反映出的真实性与科学性。能够对数据进行分析、开发和利... 查看详情
ai数据标注员有发展前景吗?数据标注员有发展吗
...晋升空间：工作优秀者或能力出众者可以晋升或直接入职人工智能数据主管，带6-10人团队;成绩突出还可晋升项目经理负责与各大平台的资源对接。 目前AI并不是十分的成熟，包括我们人类也在不停的学习。AI也需要大量的数... 查看详情
人工智能_智能家居：数据采集与数据标注
...富的项目经验。3.了解更多Testin云测成立于2011年，是一家人工智能技术驱动的企业服务平台，为全球超过百万的企业及开发者提供云测试服务、人工智能数据标注服务、安全服务及推广服务。2017年，Testin云测成立数据标注业务... 查看详情