潮科技 | 生成对抗网络研究人脸识别领域获进展

编者按：本文来自微信公众号“中科院之声”（ID：zkyzswx），来源为中国科学院自动化研究所，36氪经授权转载。

近日，中国科学院自动化研究所智能感知与计算研究中心在生成对抗网络基础上提出高保真度的姿态不变模型（High Fidelity Pose Invariant Model，HF-PIM）来克服人脸识别任务中最为经典的姿态不一致问题。

实验结果表明，该方法在基准数据集上的表现的视觉效果和定量性能指标都优于目前最好的基于对抗生成网络的方法。此外，HF-PIM所支持的生成图像分辨率也在原有方法的基础上提升了一倍。该论文被神经信息处理系统大会（NIPS）所收录。

生成对抗网络的提出是继深度神经网络之后的一大革命性新进展，已被《麻省理工科技评论》评为2018年“全球十大突破性技术”（10 Breakthrough Technologies 2018）。回看过去几年的上榜技术，越来越多的人工智能相关技术入选榜单，其中包括：2008年机器学习、2009年的Siri、2013年的深度学习、2014年的神经形态芯片、2016年的语音接口与知识分享型机器人，以及2017年的自动驾驶卡车与强化学习。在今年，最具突破性的人工智能技术是对抗性神经网络（Dueling Neural Networks）/对抗式生成网络（GAN）——通过两个AI系统的竞争对抗，极大化加速机器学习的过程，进而赋予机器智能过去从未企及的想像力。

近年来，自动化所孙哲南、赫然研究组在生成对抗网络的原理和应用的研究上取得了一系列的成果，先前已在IEEE国际计算机视觉与模式识别会议(CVPR)、国际计算机视觉大会（ICCV）上发表了一系列关于生成对抗网络和正面人脸图像合成的研究工作，目前在国际上处于领先地位。

在该论文中，作者总结了先前工作中存在的一些限制（例如，过于依赖低维信息约束，不能很好地保持原图的语义信息等）。为了解决这些问题，作者对其具体做法进行总结如下：

• 1、引入了一种能反映三维人脸模型和二维的人脸图像之间点到点的关联稠密关联场，让网络能够在二维图像的指导下学习到隐含的三维人脸信息。

• 2、设计了一种全新的纹理扭曲（warping）过程，可以有效地把人脸纹理映射到图像域，同时又可以最大程度地保持输入的语义信息。

• 3、提出了一种对抗残差字典学习过程，从而可以在不依赖三维数据的情况下更有效地学习人脸纹理特征。

• 4、实验表明，该方法不仅在定量和定性指标上明显地超过了已有方法，并且把生成图像的分辨率提高了一倍。

高保真度的姿态不变模型示意图

在CelebA数据库的HQ子集上的可视化结果，第一行为输入图像，第二行为通过该模型进行人脸正面化后的结果。HF-PIM是首个支持生成256*256可视化结果的模型。

在IJBA数据库上的可视化结果，第一行为输入图像，第二行为通过该模型进行人脸正面化后的结果。

在LFW（左图）数据库和IJB-A（右图）数据库上和已有方法的对比结果。ACC: 准确率。AUC：ROC曲线下面积。FAR：错误接受率。Rank-1：第一次命中识别率。

在Multi-PIE数据库上在不同的视角下对第一次命中识别率的对比。