团队近期成果--人脸遮挡场景中的表情识别：一种路径选择多网络

我们团队在国际期刊《Displays》（IF：2.167）上在线发表论文“Facial Expression Recognition in Facial Occlusion Scenarios: A Path Selection Multinetwork”。该论文上海大学计算机工程与科学学院为第一单位，阮礼恒为第一作者，韩越兴副教授为第二作者和通讯作者。

在疫情仍然持续的今天，佩戴口罩出行已成为一种常态，口罩会遮挡面部五官中的鼻子和嘴部。此外，常见的面部遮挡场景包括戴墨镜、戴帽子、物体阴影等。面部的遮挡为表情识别带来一定困难。本文基于三种常见的面部遮挡场景，即上半面部、下半面部和眼部遮挡，提出了一种路径选择式的多网络结构。该方法包含两个部分：第一部分是多网络结构，本文将原数据集以标签为单位分为三份，称为子数据集，每个子数据集继承原数据集中的部分标签，由子数据集分别训练三个子网络；第二部分是一种路径选择式的多网络集成方法，将子数据集中各自包含的图像视为同一标签，放入新的数据集中，用于训练初始网络，根据初始网络所输出的预测结果选择子网络的其中之一输出最终预测结果。本文将Fer2013、Jaffe、KDEF和RAF-DB四个常用的公开表情数据集合并为一个更大的数据集，增加训练样本数量，进行模拟遮挡处理。实验结果表明，本文方法可以有效识别出有遮挡的面部表情，并且适用于大多数可能存在的面部遮挡场景，这使得表情识别的可以更准确、可靠地应用于更多场景。

论文链接：https://doi.org/10.1016/j.displa.2022.102245

项目链接：https://github.com/han-yuexing/A-Path-Selection-Multinetwork