编者按:本文来自微信公众号“量子位”(ID:QbitAI),安妮 编译整理,36氪经授权发布。
考眼力:你能分出下面哪张图是电脑合成的吗?
是这位神似年轻时莱昂纳多的神秘男子——
还是这位卷发碧瞳女士——
难以分辨。
但事实是,上面两张均为合成图像,惊不惊喜,意不意外?
这些图像来自英伟达与阿尔托大学的高清人脸合成项目,项目中提出的新型GAN,能合成出1024×1024像素的高清图像。
这不是英伟达最近唯一在合成高清图像研究中的尝试。就在上月,还与伯克利大学提出能将语义标注图像还原成现实世界样子的pix2pixHD,图像清晰度可达2048*1024,甩CRN、pix2pix等其他图像合成工具好几条街。
这个新型GAN的不仅“配方”与pix2pixHD不太一样,更有意思的是,还多了几分明星脸的味道。
近日,驻扎在芬兰的英伟达研究小队正试图构建一个系统,它能通过分析上千张明星的快照,识别常见的模式,并创造出看起来相似的新图像。这个系统也能合成马、公交、自行车、植物等除人类以外的常见物体图像。
△ 合成图像
通过分析明星脸构建的系统,生成的图像也和明星脸有几分神似。比如上面这张,有些人会觉得和美剧《老友记》里“瑞秋”的扮演者珍妮弗·安妮斯顿相似,又有些人觉得像美国歌手Selena Gomez。
“计算机通过和自己玩猫捉老鼠的游戏生成了这些图像。”研究人员Jaakko Lehtinen说。
研究人员提出了一种新型GAN训练方法,使生成器和辨别器逐步发展。在开始时,生成器(G)和辨别器(D)均为4×4的低分辨率。随着不断训练,研究人员会逐渐为生成器和辨别器增加新的层,这样就增加了生成图像的空间分辨率,因此生成的图像越来越精细。
4×4像素的低清图是如何一步步变高清的?这有一张随训练时间变化的生成图。
上图展示了英伟达系统在18天内生成图像的变化。经过千万次迭代后,GAN最终生成1024×1024像素的令人信服的清晰图像。研究人员表示这种新方法加快了训练速度,并且稳定了图像质量。
研究人员希望这项技术能够指导软件在短时间内合成出接近真实的图像。“我们还能更进一步,不仅可以用它来生成照片,还能应用在电脑游戏和电影中。”Lehtinen表示。
相关资料
目前,相关研究的论文Progressive Growing of GANs for Improved Quality, Stability, and Variation已向ICLR 2018投稿。
项目地址:
https://github.com/tkarras/progressive_growing_of_gans
论文地址:
http://arxiv.org/abs/1710.10196