戴口罩也能识别面部表情？康奈尔研发耳机表情识别系统

发布时间：2020-10-23 19:20:54来源：青亭网

Esther｜撰文

通常，面部识别技术基于摄像头和计算机视觉算法，为了提升面部识别准确性，可能还会采用3D摄像头或是多颗摄像头阵列。但现在面临的问题是，摄像头方案需要检测到完整的面部五官，在公共场合你也不得不摘掉口罩才能人脸识别，尤其是要用面部识别解锁手机会比较麻烦。而在VR中，实时面部表情追踪也会需要多颗摄像头，缺点是硬件成本高、体积大。

近期，康奈尔大学的科研人员发明了一种利用耳机来实时追踪面部表情的方案C-Face，它的特点是通过追踪脸部轮廓来识别表情，并转化成emoji表情符号或无声指令，用于输入或控制电子设备。

C-Face特点总结：

可持续实时捕捉全脸面部表情的穿戴式技术；

通过唇部、眉毛、眼睛变化来推断全脸；

体积轻便，只需在耳机上配备两颗微型RGB摄像头；

通过深度神经网络来推断面部轮廓的细微变化，并输出42个面部关键节点；

在9人实验中，平均误差可控制在0.8毫米；

科研人员指出，用C-Face识别面部表情的好处是即使你戴了口罩或是没有将手机举在眼前也能输出表情信号，与线上好友交流。它的效果号称比现有的穿戴式面部识别技术更好，使用起来也更简单，不遮挡面部。尤其是当你双手在忙于洗碗、拿东西时，如果需要面部解锁手机接打电话，C-Face可直接对面部进行识别，不耽误你手头的事情。而且C-Face无需在你面前安装摄像头，不遮挡视线。

C-Face合著者FrancoisGuimbretiere表示：由于VR头显具有遮挡性，它很难通过摄像头捕捉完整的面部信息，而C-Face刚好可以作为一种有效的方案，即使戴VR也能实时识别并转化面部表情。

实现方法上，C-Face耳机方案配备两个视角达120x120°的微型RGB摄像头（尺寸为14x14mm），摄像头通过识别面部肌肉（轮廓）的变化来推测表情。科研人员表示：面部轮廓会从不同程度伸展收缩，它的变化透露出很多表情信息，当你在做表情的时候，会推动或拉动皮肤，从而带动周边的面部肌肉，造成脸颊轮廓与耳朵之间的距离不断变化。

为了准确识别表情，科研人员测试了12种距离和角度的搭配，比如分别距离皮肤1、2、3厘米远，或者与面部形成-10°、-20°、-30°、-40°，发现最佳位置在-20°和-30°之间，可以同时捕捉到唇部和眼睛数据。

该方案结合声波干扰、压力感知、电阻抗断层成像和EMG技术，采用穿戴式设计，即穿即用，不用预先设定环境，可随时随地使用。另外，与其他穿戴式面部识别方案相比，C-Face更轻便，可采用入耳式耳机或包耳式耳机两种形式，捕捉全部42个特征点的误差分别为0.77毫米和0.74毫米。

摄像头传感器捕捉到面部轮廓后，会继续用计算机视觉和深度学习模型来重建面部表情。由于识别到的原始数据为2D，所以需要利用卷曲神经网络来帮助重建3D表情。

重建后的3D面部模型包含42个面部特征点或关键点，用来构建嘴、眼、眉毛的形状和位置。而由42个特征点组成的面部模型还可以转化为自然、生气、亲吻等8种表情符号，或是转化成播放、下一首、提高音量等无声指令。

在一个9人组成的实验中，科研人员发现C-Face的平均误差可控制在0.8毫米。而表情符号转化的准确性超过88%，无声指令准确性将近85%。

准确性更高的面部识别可检测到使用者的微表情，进而转化成实际的感受，在线上教育场景中，老师可以用C-Face来获取关于学生的实时信息。此外，C-Face也可以用来控制音乐播放器，相当于你只需要戴上一副耳机即可用表情来播放或暂停音乐。如果是在图书馆、办公室等安静场合，用表情来控制电子设备比语音控制要更低调，不会打扰到其他人。应用在VR中也可以让交流变得更自然。

不过科研人员也表示：目前C-Face耳机方案还存在一些局限，比如续航还不够长、准确性受环境光影响、受长发遮挡等等，未来还将进一步优化。

参考：

https://www.scifilab.org/c-face

（END）

推荐阅读

每天五分钟，轻松了解前沿科技。——青亭网