心理所构建伪装表情数据库并进行基准评价
来源：心理研究所|发布时间：2021-12-15|【 】
面部表情是眉毛、眼睛和嘴角等区域的面部肌肉运动传递自身情绪感受的外在表达。除了常见的自然表情，人们还可以表现出伪装的面部表情从而达到掩饰或抑制内心真实情绪状态的目的。伪装表情时有发生：比如家长面对着孩子潦草的作业心里很窝火，但为了不挫伤孩子的自信心，故作开心地继续辅导；又比如一些窗口部门的工作人员，即使遇到什么悲伤的事情，也要始终保持微笑服务。
构建高质量的伪装表情数据库有助于系统深入地研究伪装表情的表达特点和识别算法。脑与认知科学国家重点实验室傅小兰研究组最新发表一项研究，构建了一个实验室场景下的伪装表情数据库，并利用机器学习算法对数据库进行基准评价，如图1所示。
图1. 伪装表情的采集与计算识别过程
在实验开始前，被试需要进行练习，熟悉六种基本表情（高兴、悲伤、愤怒、厌恶、恐惧、惊讶）的表达特点。正式实验过程中，被试观看情绪诱发视频片段，并在视频播放快结束时根据表情图片线索表达与视频诱发情绪一致或不一致的表情。因此，视频诱发的情绪类型与要求其表现的表情相互结合得到36类表情。随后，研究者采用面部动作编码系统（facial action coding system, facs）对采集的视频数据进行人工编码，数据库共包含22名被试的778段表情序列。
在基准评价方面，研究提取表情序列的lbp-top（local binary pattern from three orthogonal planes）特征，并结合支持向量机（support vector machines, svm）进行分类（如表1）。对于特征提取中的不同lbp编码半径设置，利用留一被试交叉验证得到伪装表情和非伪装表情分类最高识别正确率为78.80%。这表明在采集的伪装表情数据库中，对表情序列是否存在伪装具有较高的可区分性。另外，对视频诱发的情绪分类（6e）和要求被试表达的表情分类（6r）的最高识别正确率分别为26.83%和47.77%。对真实诱发情绪的识别率仅高出随机水平约10%，这表明摆拍表情的存在对识别真实情绪造成很大困难。此外，研究还利用卷积神经网络自动提取表情图片的特征信息，进一步提升了表情的识别率。
表1. 特征提取不同编码半径下的表情识别准确率
该研究有助于深化对人类复杂表情的理解。该表情数据库也已在研究组网站发布，可供心理学、计算机科学等多学科感兴趣的研究者使用，将大大促进心理学与计算机科学在该领域进一步融合。
心理所博士生莫凡和张志豪为论文的共同第一作者，心理所副研究员赵科、研究员傅小兰为共同通讯作者。研究成果已发表于ieee access。
论文信息：
fan mo, zhihao zhang, tong chen, ke zhao, & xiaolan fu (2021). "mfed: a database for masked facial expression." ieee access 9: 96279-96287.
下载申请使用数据库协议的地址：
附件下载：
