CVPR最有趣论文 再模糊的照片AI都可以可以恢复

作者：打算机视觉研究院

一、简要

Blind face常日依赖于facial priors，如facial geometry prior或reference prior，来规复现实和真实的细节。
然而，当高质量的参考无法访问时，非常低质量的输入不能供应精确的几何先验，这限定了在现实场景中的适用性。

以是，有研究者提出了GFP-GAN，它利用封装在预先演习好的人脸GAN中的丰富多样的先验来进行blind face规复。
该Generative Facial Prior(GFP)通过新的信道分裂空间特色变换层融入到人脸修复过程中，使新方法能够实现真实度和保真度的良好平衡。
由于强大的GFP和风雅的设计，GFP-GAN可以通过一次共同规复面部细节和增强颜色，而GAN inversion methods在推理时须要昂贵的特定图像优化。
大量的实验表明，新方法在合成数据集和真实数据集上都取得了优于现有技能的性能。

二、效果先知道

DFDNet [46]：Xiaoming Li, Chaofeng Chen, Shangchen Zhou, Xianhui Lin, Wangmeng Zuo, and Lei Zhang. Blind face restoration via deep multi-scale component dictionaries. In ECCV, 2020

Wan et al. [63]：Ziyu Wan, Bo Zhang, Dongdong Chen, Pan Zhang, Dong Chen, Jing Liao, and Fang Wen. Bringing old photos back to life. In CVPR, 2020

PULSE [54]：Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, and Cynthia Rudin. Pulse: Self-supervised photo upsampling via latent space exploration of generative models. In CVPR, 2020

在本研究中，研究者利用GFP来进行现实天下的盲脸规复，即先验隐式封装在预先演习的人脸天生对抗网络(GAN)模型中，如StyleGAN。
这些face GANs能够产生具有高度变革的 faithful faces，从而供应丰富多样的先验，如几何，面部纹理和颜色，使它能够共同规复面部细节和增强颜色（如上图)。

然而，将这种天生先验纳入规复过程中是具有寻衅性的。
以前的考试测验常日利用GAN inversion。
他们首先将降级的图像“颠倒”回预先演习好的GAN的 latent code，然后进行昂贵的特定于图像的优化来重修图像。
只管在视觉上有真实的输出，但它们常日会产生低保真度的图像，由于低维的 latent code不敷以勾引精确的规复。

三、新框架

GFP-GAN框架的概述：它包括一个degradation removal模块和一个预先演习好的face GAN作为 facial prior。
它们由latent code映射和几个Channel-Split Spatial Feature Transform(CSSFT)层。
所提出的CS-SFT调制实现了良好的保真度和保真度平衡。
在演习过程中，利用1）Pyramid restoration勾引来肃清现实天下中繁芜的退化，2）Facial component丢失和识别器来增强面部细节，3） identity preserving丢失以保持面部身份。

Adversarial Loss

Facial Component Loss

Identity Preserving Loss

总体模型目标是上述丢失的组合：

四、实验及效果可视化

在Synthetic的量化指标上, 该研究提出的方法在LPIPS、FID、 NIQE都能够取得最好的结果，Deg.是指人脸识别模型ArcFace的Cosine间隔, 较小的值解释identity也保持的很好。