重新上色的历史人物, 惊艳了时光! 华盛顿大学, 伯克利与谷歌联袂送上"照片时光机"

编者按：本文来自微信公众号“将门创投”（ID:thejiangmen），作者：让创新获得认可，36氪经授权发布。

From: Arxiv ; 编译:T.R

由于早期照相技术的限制，加上时间的冲刷，许多历史人物的照片都是老旧、褪色的黑白照片。为了更真实地一睹这些历史人物的样貌，有研究者提出了一种利用现代相机模拟“穿越回过去”、为历史人物重新拍照的手段。

听起来神乎其神，究竟是怎样的强大手法呢？阅读下文一探究竟吧！

与独立进行去噪、上色和超分辨等操作的传统图像修复滤波器不同，这一工作利用StyleGAN2将老照片转换到现代高分辨率照片的(特征)空间里，利用单一框架实现了所有的操作效果。

历史名人经由此法修复后的惊艳效果

“照片时光机”的实现过程

研究人员用一个统一的模型一步到位地修复了老照片，同时实现了超分辨、去模糊、去噪和对比度调节等修复过程。它有机地融合了成像的物理过程和图像的统计信息，一方面利用物理过程驱动的成像过程来捕捉相机成像的过程，同时采用了基于统计的生成模型来补全皮肤细节和颜色等缺失的信息，通过综合各种相关信息，为成像和退化过程建模。这种基于StyleGAN2的框架让我们得以穿越时空，一窥旧时代人物脸上的光荣与梦想。

要理解“时间旅行、重新拍照”的过程，需要先了解照片所属时代的拍照技术。这篇文章所要恢复的照片大多拍摄于19世纪晚期到20世纪早期，那时的拍照技术还不成熟。早期胶片对于蓝绿光较为敏感，缺乏红色感光会显得皮肤变差，面部的缺陷会被放大，而低估了皮肤表面下的散射则会使皮肤显得光滑。为了重建历史人物的真实样貌，利用现代的高清相机为他们重新拍照，需要充分考量老照片中所包含的颜色敏感度、模糊、褪色、噪声、低分辨率和其他的退化过程。

为了把黑白老照片转化成现代风格的高清高质量照片，研究人员提出了一种利用StyleGAN2生成模型将老照片映射到现代高分辨率彩色图像空间中的方法。这一研究希望寻找到一个可以匹配输入的老照片的潜在空间表示。为了得到这一表示，需要对训练模型的潜在编码进行学习。

与先前的方法不同的是，研究人员没有简单地直接将StyleGAN2输出与输入的老照片进行比较，而是利用了与输入人物面部特征极为相似的彩色高清图像作为额外的监督，使得模型可以有效学习出图像中的高频信息以及自然的颜色和光照。

在文中的Sibling部分将详细介绍如何自动计算面部特征，找到示例人像，并引入了相应的误差来优化并保留图像中的细节和颜色信息。

为了进一步缩小输入老照片和现代人物肖像间的差异，研究人员为老照片设计出了独特的重建损失函数，构建了退化模块来模拟老照片的成像过程，并应用于StyleGAN2得到的结果，而后与老照片进行重建损失计算。退化模块涵盖了不同类型的胶片信息、照片扫描过程和相机相应曲线，并可结合使用改善拍摄效果。

下图显示了模型的整体架构，主要包含了Sibling相似图像编解码模块，隐空间编码优化模块和退化模拟模块三个主要部分。

给定一张老照片作为输入，研究人员使用前向自编码器在StyelGAN2的隐含空间中计算出面部特征相似的图像。而后利用这张相似图像作为隐空间编码优化的起点，寻找编码重建出输入。利用退化过程引导优化过程，在模拟老照片特点的同时保持现代图像中的纹理和皮肤细节。相似人脸编码器

为了重建历史人物的真实样貌，需要找到与他们较为相似的现代高清照片人物进行参考。所以整个框架的第一步是输入低分辨率的老照片，重建出面部特征相似的人物图像。这里主要使用了StyleGAN2来获得512维度的编码，并利用预训练好的StyleGAN2合成网络来获取合成的相似图像。在此基础上，研究人员还添加了颜色迁移损失来修正最终输出图像的颜色损失，同时还利用了VGG对模型重建的历史人物图像和sibling图像的特征计算了内容上下文损失，来保证皮肤纹理和细节的重建性能。

颜色损失和上下文损失的结果比较

为了对历史照片的拍摄过程和退化过程进行有效建模，研究人员在输入历史图像比较前，还对生成的修复图像进行了一些列退化处理，使其能为隐空间编码的优化过程提供更多的引导。其中的退化过程包含了模糊、底片的响应限制以及早期照相技术的光谱灵敏度等，还包括了不同的相机响应函数和低输入分辨率的模拟。其中模糊主要使用了高斯滤波器，下图显示了使用高斯滤波模拟和不使用的结果对比：

针对颜色敏感的不同，早期的正色(orthochromatic)照片选择了(0.5*(G+B))，全色(panchromatic)照片则选择了(0.299·R+0.587·G+0.114·B)来表示强度值。

利用不同颜色响应的重建结果对比，颜色响应的建模使得图像更为真实。

针对相机响应函数则使用了偏置(0)、增益(1)和gamma(1)变换的组合来进行描述。

使用和不使用相机响应函数损失的对比，它提高了对比度和图像的曝光质量。

最终的重建损失利用下面的式子来表示，包含了VGG特征和VGG面部特征，并着重强调了眼部的特征相似相似性来提高重建图像的感知质量：

在获得有效的重建损失、颜色迁移损失和上下文损失后，就需要对潜在空间编码进行优化，以最小化这些损失的加权和。具体来说，首先利用相似图像的编码来初始化编码，而后在隐空间编码W+code上进行由粗到精地优化。具体的实验参数设置和调参结果，可以参看原文第四部分的详细设计。

实验结果

研究人员重建了54张历史人物照片，下图显示了重建中的一些结果，并与FFHQ方法进行了比较。

与现有的一些方法相比，本文提出的方法获得的照片更为自然清新，颜色更为连续，人物的面部皮肤和细节重建也较为清晰优美：