关键词：
兴坤 发自 凹非寺
量子位 报道 | 公众号 QbitAI
瞄一瞄你的下巴，就知道你有没有在难过。
这个温馨的场景对应的不是窝在怀里的小猫咪，而是……
Neck Face，一款用于监控情绪的智能工具。
它被设计成项链及颈带样式，AI只需要看到使用者的下巴，就可以获取面部表情数据。
这款设备的面部识别原理，不仅打破了必须在正面放置摄像头的局限，而且还能做到在运动过程中持续捕捉表情信息。
智能项链Neck Face
项链式仪器包含一组Neck Face，由红外摄像头OV5647、近红外LED和红外带通滤波器组成，佩戴时位于下巴正下方；颈带式仪器包含两组，佩戴时分别位于两侧锁骨位置。
摄像头位置这么靠下，能看到我们的表情吗？
如此低的机位，自然看不到完整的面部表情，只能获得包含下巴部分下半张脸的轮廓图像。
AI通过对这部分图像的信息提取，以算法推测出完整面部表情。
当我们做面部表情时，面部肌肉会拉伸和收缩，推拉皮肤影响附近面部肌肉的张力，这种效果会导致脸颊轮廓发生变化。
Neck Face从颈部和下巴下方角度，用红外相机记录面部肌肉运动，以及所引起的面部轮廓变化。
获得脸部轮廓红外图像后，通过卷积神经网络帮助将二维图像轮廓重构为完整信息，并利用计算机视觉和深度学习模型，找到颈部和下巴红外图像与完整面部的联系。
结合ARKit，从深度相机中提取了52个混合形状参数(blend-shape)，以及头部偏转角度数据，重构出完整的表情。
经过这样的处理过程，能够从下巴角度图像获得完整面部表情。并且可以在佩戴过程中，连续记录表情变化。
为验证这款设备监测结果准不准确，研究人员使用了苹果手机深度相机作对比分析。
测试者被要求在静坐和行走过程做出八种不同的表情，并且包含了上下左右四个方向转动头部的过程。
对比各种情况下手机和可穿戴仪器表情识别的差异，计算所得出的混合形状参数（分值0-1000）平均绝对误差。
通过对测试结果总结分析，可穿戴表情监测仪器误差在20-35之间。且可识别头部转动角度，角度误差在2-4.5度。
△左侧为手机摄像头识别处理的结果，右侧为NeckFace面部重建的结果。
两种设计相比，颈带式设备性能优于项链式，原因可能在于两侧摄像头能够捕获更多信息。
应用优势
现代人对自身健康越来越重视，不仅是身体机能的健康，心理健康也逐渐得到了更多关注。
以科学的方法对情绪进行监控，可以更好地掌握自身状况，及时做出调整或治疗，避免影响到身体机能。
记录情绪及心理状态建立起数据库，还可以方便个体追踪自身行为，有利于就医等社会活动。
提到大数据，一定会有人担心隐私泄漏的问题，由于Neck Face都是从头部下方对面部表情进行检测，而仅仅通过下半张脸无法识别到用户全部面部信息。
另外，Neck Face是红外成像，对环境不作识别，可以很好地隐藏环境信息。
对Neck Face的测试过程中也提到了，设备可以在行走中保持工作，这就大大解放了远程办公或视频会议时对使用者的局限，可以更自由地参与线上讨论。
研究团队
本研究主要由北京大学学生陈拓潮，麦吉尔大学学生Yaxuan Li完成，参与单位还有康奈尔大学SciFi实验室，康奈尔信息科学学院研究人员等。
康奈尔大学计算机与信息科学学院Cheng Zhang教授研发出可穿戴传感器C-Face。在此基础上，陈拓潮等人做出改进，开发出这款更方便穿戴，性能更好的Neck Face。
△左侧为使用者佩戴C-Face，右侧为3D模型反馈的面部表情。
参考文献
https://dl.acm.org/doi/10.1145/3463511
参考链接
https://news.cornell.edu/stories/2021/08/smart-necklace-could-track-your-detailed-facial-expressions?fbclid=IwAR1RXF6iBQ3SkQn3cJUjFkGYEJktitIeHnT2B6x1aT7nW4bfP3heUqMuOlo
面由心生，由脸观心：基于ai的面部微表情分析技术解读
...;由脸观心”，将主要分享如何快速实时且精准检测并识别面部情绪。俗话说“面由心生”，意思是如果你心理有情绪，我们一般能够从你的脸上观察到，这种技术可以说是“由脸观心”，是一种基于面部的AI... 查看详情
面部表情识别2：pytorch实现表情识别(含表情识别数据集和训练代码)(代码片段)
面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)目录面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)1.面部表情识别方法2.面部表情识别数据集 （1）表情识别数据集说明 ÿ... 查看详情
面部表情识别1：表情识别数据集(含下载链接)
面部表情识别1：表情识别数据集(含下载链接)目录面部表情识别1：表情识别数据集(含下载链接)1.前言2.表情识别数据集介绍1.JAFFE数据集2.KDEF（KarolinskaDirectedEmotionalFaces）数据集3.GENKI数据集4.RaFD数据集5.Cohn-KanadeAU-C... 查看详情
ai抗疫系统是如何做到戴口罩也能识别出人的身份信息的？
一、AI抗疫系统主要是由一家从事人工智能领域的小视科技公司研发成功，早年的AI智能人脸识别系统需要将一张完整的人脸放在识别系统前才能准确识别。而小视科技公司在疫情发生期间，仅仅用了两周时间便研发出了能将戴... 查看详情
来自网络摄像头的面部表情识别[关闭]
】来自网络摄像头的面部表情识别[关闭]【英文标题】：Facialexpressionrecognitionfromwebcam[closed]【发布时间】：2013-07-0500:07:35【问题描述】：我目前正在从事一个项目，我必须提取用户的面部表情（一次只能从网络摄像头中提取一个... 查看详情
面部识别的未来
去年，iPhoneX的人脸识别让生物面部识别/认证技术火了一把，即便如此，该技术的发展仍处于“婴儿阶段”。因为除了手机之外，其强大的功能有望在各种垂直行业提供安全服务，这种潜力有待挖掘。当下迫切需要注意数字安全... 查看详情
基于面部识别的日志系统的设计与实现
基于面部识别的日志系统的设计与实现@(GUI程序开发)[PyQt,信号,面部识别,多线程,媒体播放,opencv][TOC]需求与设计使用面部识别技术，识别进出重要通道的人员，并对人员进出动作进行记录。在人员进出时，在摄像机前采集画面，... 查看详情
ai加持实时互动｜zegoavatar面部表情随动技术解析
01AI"卷"进实时互动2021年，元宇宙概念席卷全球，国内各大厂加速赛道布局，通过元宇宙为不同的应用场景的相关内容生态进行赋能。针对“身份”、“沉浸感”、“低延迟”、“随时随地”这四个元宇宙核心基础，ZEGO即... 查看详情
面部表情检测
...可以做人脸检测，但我没有找到任何一个可以做自动表情识别。到目前为止我发现的最好的可能性：-使用LuxandFaceSDK，这将使我能够访问面部内的66个不同点，因此我仍然需要手动将它们映射到表情 查看详情
使用阈值进行面部识别的理解困难
】使用阈值进行面部识别的理解困难【英文标题】：DifficultyunderstandingusingThresholdforFacialRecognition【发布时间】：2015-06-2502:13:58【问题描述】：这是一个基于理解的问题，用于使用阈值方法进行面部识别。我通俗地理解我们如何使... 查看详情
人脸识别的未来：对智慧城市有何影响
面部识别技术具有支持大量应用的能力，这些应用可以保护智慧城市的安全，但是随着面部识别技术变得越来越复杂，其滥用潜力也越来越大。不可否认，当前面板识别存在准确性、种族和性别偏见的问题，而隐私问题已导致对... 查看详情
如何使用地标点识别人脸？
】如何使用地标点识别人脸？【英文标题】：HowcanIrecognizeafaceusinglandmarkspoints?【发布时间】：2018-06-2606:18:13【问题描述】：我正在使用Eigenface算法进行人脸识别。但我需要使用面部各部分的距离或计算值之类的东西来识别面部。... 查看详情
Python中人脸识别的预处理方法
...erecognition项目，我正在识别运动中的人的面部，这意味着这个人一直在移动，我必须检测和识别面部。为此，我使用caffemodel进行人脸检测，并使用改进的knn方法进行人脸识别。它工作正常，但大多数情况下 查看详情
公共场所人脸识别或全面被禁：欧洲议会决议，ai监管再收紧
人脸识别的未来会更好吗？欧洲议会刚刚通过决议，呼吁全面禁止在公共场合进行大规模面部识别，对AI面部识别技术的监管进一步收紧。实际上，对人脸识别技术的规范和管理早已成为国内外的共同难题。昨日&#... 查看详情
不出声也能命令siri！康奈尔大学华人团队开发无声语言识别项链，中文英文都行...
金磊发自凹非寺量子位|公众号QbitAI这，或许是现在跟Siri交流最潮的方式了——只需要动动嘴皮子，就能让它under你的control。没错，就是不需要出任何声音的那种。这就是来自康奈尔华人团队的最新研究成果 SpeeChin&#x... 查看详情
人脸情绪识别需求分析心得
目的本项目旨在对人脸情绪识别作出一个解决方案。对用户以各种方式提交的图像视频数据进行分析，并给出相应的情绪分析结果。背景随着计算机的快速发展,人机交互越来越多地出现在日常生活中,如何让计算机更好地理解人... 查看详情
用yolov5模型识别出表情！
作者|闫永强来源 |Datawhale本文利用YOLOV5对手势进行训练识别，并识别显示出对应的emoji，如同下图：本文整体思路如下。提示：本文含完整实践代码，代码较长，建议先看文字部分的实践思路，代码先... 查看详情
ai：人脸识别
微软提供的人脸识别服务可检测图片中一个或者多个人脸，并为人脸标记出边框，同时还可获得基于机器学习技术做出的面部特征预测。可支持的人脸功能有：年龄、性别、头部姿态、微笑检测、胡须... 查看详情