AI 换脸技术——DeepFakes 概述（二）​

编者按：本文由图普科技编译自 Exploring DeepFakes。

相关文章：AI 换脸技术——DeepFakes 概述（一）

DeepFakes的“短板”

尽管DeepFakes所呈现出的结果让人很惊讶，但就现在来说，它的局限性还是很明显的：

•  首先，DeepFakes算法只有在拥有大量目标图片作为数据的情况下才能达到相对较好的效果。如果要用另外一个人的脸替换视频中的脸，那么你需要300到2000张这个人的人脸图片。所需图片的数量取决于人脸的变化程度，以及它们与原始视频的匹配程度。因此视频换脸比较适用于艺人，或者是那些在网上有大量照片的人。所以很明显，并不是任何人的人脸交换都是这么简单的。

• 其次，训练的数据必须要选择非常有代表性的图片。上述案例中的DeepFakes算法虽然能够还原出Oliver的照片，但并不能还原出Oliver的证件照，因为它所接收的数据中缺少Oliver各个角度的照片。因此，训练数据需要非常贴近你希望达到的目标。举例来说，如果你希望生成的某种面部表情，那么你的数据图片中就必须要有大量这种表情的图片。所以，如果你想要开发一个针对大众的人脸交换软件，那么你最后合成的视频主要是人脸的正面朝前的，因为网上的人脸图片大多都是正面朝前的，像Instagram上的人物自拍。而如果是针对一个名人的人脸交换，生成的视频会相对更自然、逼真，因为你能比较轻松地获取这个名人各个角度的照片。

由于没有足够多Oliver的侧面照，所以网络无法通过观察学习，生成Oliver证件照。

• DeepFakes的另一局限性在于，建立一个换脸模型会消耗大量的时间和金钱。一般的换脸效果大概需要48小时的训练，而一个相对不错的换脸则需要大约72小时的训练才能达到。一个GPU小时大约花费0.5美元，所以仅仅是把人物A和人物B进行人脸交换就会花费36美元，这还不包括数据训练所需的宽带费用以及数据预处理的CPU和I/O费用。最大的问题是，一对进行人脸交换的人物需要一个模型，所以在一个模型上的所有投资不能够解决其他的人脸交换。模型开发的高成本意味着人脸交换的App也不会便宜到哪儿去，更不可能是免费的。当然了，如果消费者愿意花钱投资开发这一模型的话，这些就都不是问题了。

• 另外，模型的运行费用虽然比开发模型要低，但也还是要收费的。在一个GPU上完成一个人脸交换所需的时间大约是输出视频时长的5到20倍，比如生成一个时长为一分钟的1080P的视频大概需要18分钟。GPU不仅能够加速核心模型的运行，还能加速人脸代码的识别（比如识别出这一帧中有没有需要交换的人脸）。我还没有尝试过仅在一个CPU上进行人脸交换，但我敢说仅在CPU上进行的速度肯定要慢得多。在现在的人脸交换过程中仍然存在着很多低效的因素，比如视频帧不是成批地传至GPU的；视频的操作没有同步运行，等等。如果这些因素能够被克服，那么人脸交换就会更加高效；这样一来，CPU实现人脸交换也可能会成为不错的选择。

重复使用模型能够缩短训练的时间，从而减少花销。如果你使用Jimmy和Oliver人脸训练得到的模型，尝试将Kimmel的脸换成Oliver的脸，结果通常都是不乐观的。然而，如果你先从Jimmy和Oliver的训练模型开始，用Kimmel和Oliver的图片训练一个新模型，那么算法学会人脸交换的时间只需要原本训练时间的20%到50%，也就是说完成人脸转换的时间可以从72小时以上缩短至12到36小时。

人脸交换工具能够用于收集一些在线渠道的图像；当训练数据不足或不匹配时，DeepFakes算法能够帮助标记；使用优化的模型，或重复使用已经训练好的模型能够缩短训练的时间；一个设计良好的系统能够让整个人脸交换的过程都自动化进行。

但问题是：我们为什么要这么做？这么做是否有足够的商业价值？

DeepFakes的应用潜力

了解了它的操作原理，那么接下来我们来谈谈它将来可能会被应用的领域。

• 视频内容制作

好莱坞在电影制作时其实已经使用了这种技术，但是使用的成本并不是这么低的。如果好莱坞能够用这一技术制作出非常不错的电影或者视频，那么随着时间的推移，他们对专业视频剪辑师的需求一定会慢慢减少的。

这一技术同样能带来新的机遇，例如，让一些不知名的演员来拍电影，然后用大牌演员的脸来替换他们的脸。这可以用于制作YouTube视频或是普通民众拍摄的新闻节目。

在更多情况下，电影公司可以根据目标市场的需求来更换演员，Netflix能在拍摄前让观众自行选择演员。更有可能的是，这一技术能够让那些长时间没有动态的演员重新回到观众的视线。

• 社交App

YouTube上一些关于DeepFakes视频的评论帖子都在讨论这个技术会打造出一个怎样的恶搞图片软件。Jib Jab是一家销售视频贺卡的公司，多年来一直都在使用简单的人脸交换；但现在，它迎来了一个巨大的机遇。照片滤镜已经为Instagram和Snapchat吸引了大量的用户，而人脸交换App也已经有了很大的发展，Jib Jab有望引领下一个人脸交换的潮流。

这样的社交软件将会非常有趣，所以人脸交换的App完全有可能兴起一个潮流，前提是开发这些模型的成本足够低。

StarGAN这篇调研论文介绍了如何使用一个算法生成不同发色、性别、年龄甚至是表情。我敢打赌，一款能够让你拥有精致小脸的App绝对会火。

• 名人人脸许可认证

想象一下，有了这项技术以后，Target只需要给艺人支付一笔费用，使用该艺人的一些大头照，再简单地点击一个按钮，就能让这名艺人连续一个月展示他们家的衣服。这不仅可以为艺人、网红和社交网络上任何有影响力的人创造一个新的收入来源，还能为商家企业提供了一种品牌推广的新途径。但同时，这也引发了一些有趣的法律问题，比如所有权的归属问题，以及关于如何分割和使用其价格权利的商业问题。

Loolet会让成衣公司在人体模特上拍摄他们的服装，选择配套的衣服，挑选一张模特的脸和一个姿势，然后就能制作出一张可以投放市场的照片了。更重要的是，他们可以在没有模特或摄影师的情况下随意改变照片的风格。

• 个性化的广告宣传

想象一下，当你在上网时，看到的所有广告中都有你和你的朋友，还有你的家人。在现在看来这可能有点可怕，但你很难预测在几年后这会不会成为一种现实。

总而言之，我们都是视觉动物，广告商这些年来一直在试图引起我们的情感共鸣：可口可乐将你的朋友放在一个嘻哈音乐视频中，希望向你传达欢乐；Allstate希望通过一个保险广告来缓解你的恐惧。除了这些以外，广告商引起我们情感共鸣的方式可能会更直接：Banana Republic（GAP旗下的高端时装品牌）可以把你的脸放置在一个与你匹配的身体上，进而从形象上说服你购买他们的皮夹克。

总结

DeepFakes的原始用户像是开启了一个“潘多拉的盒子”，他们首先引起了人们关于假视频制作对社会的影响的讨论。现在，大多数人都已经接受了照片造假的现象，所以我希望在将来，我们也能够以同样的方式适应视频的虚假和不确定性。

DeepFakes还让人们真正地了解了这项技术的有趣之处。“深度生成模型”（比如DeepFakes使用的自动编码器）仅仅给算法输入了大量的数据案例，就能够帮我们创建一些看起来非常逼真的合成数据（包括图像和视频）。这意味着，一旦这些算法被转化成实际的产品，这个强大的工具将进一步激发普通人的创造力。

现在，这项技术已经有了很多有趣的应用，比如那些照片风格转换的App，只需简单的步骤就能让你的照片看起来像一幅名画。但是目前，这一领域的研究尚未成熟，技术的应用还有很大的潜力。

我非常热衷于从AI的最新研究中创造价值，所以如果你有兴趣将这项技术推向市场，进而解决现实中的问题，请给我留言。

注：本文由「图普科技」编译，您可以关注微信公众号tuputech，体验基于深度学习的「图像识别」应用。

相关文章：AI 换脸技术——DeepFakes 概述（一）