羊脸识别诊断疼痛指数，机器学习捕捉动物面部表情

编者按：本文由微信公众号“新智元”编译，来源：Science；cam.ac.uk，编译：文强；36氪经授权发布。

剑桥大学研究人员开发了一套绵羊面部表情识别系统，能够自动评估绵羊的疼痛指数。该系列拓展了人脸识别的相关技术，利用机器学习算法，平均准确度为 67%，与一般人水平相当，但大幅缩减了评估的时间。研究人员认为，有了更多的数据，他们的这套系统能够推广应用于其他动物。

作为一只羊，你的生活可没看上去那么轻松自在。

你会受伤、生病、感染，还无法告诉照顾你的人你处于伤痛之中。

为此，兽医开发了一套规则，通过羊的面部表情评估一只羊所遭受的痛楚。但是，这套规则对于一般人，或更具体的说，牧场相关人员而言，使用时经常出现评估结果不一的情况，而且往往耗费时间。

在这里，我们可以稍微体会一下，即便是专业人员（兽医），要判断绵羊疼痛水平是一件多么困难的事情。

仔细看下面的图片，你能判断得多准确呢？

更不要说真实情况绵羊还是会动的。

绵羊疼痛指数示意图。来源：[1]

兽医们已经想出了一个方法，根据羊的面部表情来评估其疼痛，但这套方法没有得到很好的贯彻，因为手动打分耗时耗力。根据Science的报道，英国剑桥大学的计算机科学家对这项任务进行了自动化。他们先列出了与不同程度的疼痛相关的几个“面部动作单位”（AU），绘制了“羊痛面部表情量表”。他们在 480 张羊的照片上手动标记出这些 AU——鼻孔变形，每只耳朵的旋转，瞳孔缩小程度等。然后，他们用 90% 的照片及其标签来训练机器学习算法，并在剩余的 10％ 上测试算法。研究人员在华盛顿举行的自动面部和手势识别的 IEEE 国际会议上报告说，该项目在确定 AU 时的平均准确度为 67％，与人类的平均准确度相似，其中耳朵是最有指征意义的线索。调整训练进程进一步提高了准确性。如果有其他的标签图像，科学家们期望他们的方法也可以用在其他动物身上，能够更好地帮助它们诊断疼痛，进行更及时的治疗。

以下是详细报道：

绵羊面部表情识别系统，自动评估绵羊疼痛指数

英国剑桥大学的计算机科学家利用机器学习算法，开发了一个能够自动识别家羊面部表情的系统。实验表明，该系统能以平均 67% 的准确率进行羊脸识别，和一般人水平相当。

相关论文日前在美国华盛顿特区召开的 IEEE 人脸和手势自动识别国际会议（IEEE International Conference on Automatic Face and Gesture Recognition）发表。研究人员表示，有了更多的标注数据，他们的这套系统可以用于识别其他动物的面部表情，加速动物疼痛诊断的过程。

自动疼痛评估系统的工作流程图

研究人员首先根据“家羊面部表情疼痛指数表”（Sheep Pain Facial Expression Scale，SPFES）上显示各级疼痛的图像，制作了一组“面部动作单元”（facial action unit，AU）。

而后，他们手工对 480 张羊照片的这些 AU 进行标注——鼻孔变形大小、耳朵旋转角度、瞳孔缩小程度。

研究人员根据 SPFES 手工标注的一些绵羊面部 AU 数据

研究人员将这些数据的 90% 作为训练数据，剩下 10% 作为测试数据，训练了一个机器学习算法。

最终得到的“绵羊面部表情自动识别系统”，识别 AU 的平均准确率为 67%，与一般人水平相当。 

系统准确率与一般人相当，关键是耳朵张开的幅度

结果表明，判断绵羊疼痛等级最有效的衡量指标是耳朵，更准确的说，是每只耳朵张开的幅度。

（左）面部地标定位，p1~ p8 标注出了每只绵羊面部的 8 个地标。（右）数据归一化后的情况，相应地标用表示特征的方框标注出来。

为了更好地说明情况，我们结合此前相关研究的图像可以一探究竟。

下面两张图来自去年发表于 Elsevier 旗下期刊《动物行为应用科学》（Applied Animal Behavior Science）的一篇论文[1]。

由图中可见，在不同种类的绵羊当中，疼痛时耳朵张开的角度基本保持一致。

在不同种类的绵羊当中，疼痛时耳朵张开的角度基本保持一致。来源：[2]

论文介绍

使用面部动作单元检测评估绵羊疼痛水平

摘要

评估动物的疼痛水平是维持动物福利的关键，但该过程十分耗费时间。羊的面部表情是有效评估其疼痛水平的可靠指标。在本文中，我们将识别人脸表情的技术扩展到识别绵羊的面部动作单元中，从而实现了根据羊脸表情自动评估绵羊的疼痛水平。我们的方法包含多个层次，首先对绵羊脸部进行检测，定位面部地标（landmark），对数据归一化（normallisation）后提取面部特征。这些特征用定向梯度的直方图表示，然后使用支持向量机进行分类。实验显示，系统对绵羊面部动作单元（Action Unit）分类的总体准确度为67％。我们认为，如果有更多的数据，这一疼痛水平自动评估方法可以推广应用于其他动物。

论文地址

参考资料：

[1] C. Häger et. al., The Sheep Grimace Scale as an indicator of post-operative distress and pain in laboratory sheep. PLoS ONE 12(4):e0175839 · April 2017

[2] Corrigendum to “Development of a facial expression scale using footrot and mastitis as models of pain in sheep” [Appl. Anim. Behav. Sci. 176C (2016) 19–26] McLennan, Krista M. et al. Applied Animal Behaviour Science , Volume 179 , 105 - 107