如果不了解“虚拟制片”，你就掉队了

编者按：本文来自微信公众号“极客电影”（ID:geekimovie），作者：复制人写手，36氪经授权发布。

超级英雄电影最高光的时刻，莫过于《复联》里英雄们与灭霸的“终局之战”。

可惜的是，在拍摄现场，明星们在一堆绿幕中蹦来跳去，导演和其他主创也只能在脑子里想象最终画面会是什么样。

但拍摄《曼达洛人》时，主创们不仅能在拍摄现场实时看到最终的特效画面，随时更换背景，还能与场景特效互动。

在一个由LED组成的虚拟拍摄场地里，真实人物与虚构场景完全融为一体，所拍即所得。

不用忍受绿幕、也无需等待几周甚至几个月的后期，所有关键决策人现场协作，实时生成最终画面，立等可取，随时可改。

这不是奇迹，而是影视行业越来越火爆的“虚拟制片”（Virtual Production）。

Epic Games出品的实时3D创作引擎——虚幻引擎（Unreal Engine，下文也称UE），是虚拟制片的核心驱动力。

好莱坞如今有个流行的说法——“Gamily Film”（游戏化电影），字面意思是“用游戏引擎来拍电影”；

其实它想表达的是，在影视制作的各个环节运用数字技术，用最新的娱乐交互方法提高效率。

今天我们就来看一看，实时3D引擎是如何在今天改写传统影视制作流程的。

虚拟制片：给影视创作自由

在好莱坞，如果一个影视制作公司想在五年内保持竞争力，那它必须得跟上“虚拟制片”这股潮流。

到底什么是”虚拟制片“呢？

虚拟制片是把虚拟计算机图像与真实演员的表演融合在一起，而且在拍摄现场就能把加特效的画面实时做可视化呈现的制片方法。

用维塔数码（Weta Digital）的定义来简单总结——虚拟制片就是现实与数字交汇的区域。

△ 图源：unrealengine.com

詹姆斯·卡梅隆拍摄《阿凡达》时，就曾用虚拟摄像机在现场预览包含了特效的最终画面。

△ 卡梅隆在《阿凡达》拍摄时查看实时拍摄效果图源：cgchannel.com

从卡梅隆开始，虚拟制片逐步在好莱坞走向主流。

虚拟制片包括，用CG或VR技术在拍摄前把场景做可视化（Previs）、搭建虚拟拍摄片场（Virtual Sets）、实时特效（Real-time In-camera VFX）、表演捕捉（Performance Capture），虚拟后期制作（Virtual Post-prodcution）等环节。

强大的实时引擎、特别是虚幻引擎，在整个过程中起到了关键性作用。

△ 虚幻引擎在特效拍摄现场实时3D渲染

比如前期场景设计，可以用VR工具把创意和各种元素都导入虚幻引擎，渲染出一个沉浸感极强的VR场景；

△ 用VR工具制作3D场景

所有创作者都可以进入那个场景，预览甚至做深度探索，决定故事可以在哪些地方、以哪些角度展开。

全球知名的特效公司The Third Floor就是用UE4做初始场景开发，并打造出《权力的游戏》第八季中庞大对战场面的。

△ 在《权游》中应用虚幻引擎虚拟制片 图源：unrealengine.com

曾在《黑镜》中尝试过虚幻引擎实时渲染的制作公司Painting Practice在接手巨制奇幻剧《黑暗物质三部曲》之后，在场景角色设计和拍摄时都使用了UE4。

他们先做出“概念模型”，然后把UE4中的材质贴到模型上给导演看效果；

△ 《黑暗物质三部曲》中用虚幻引擎模拟出的采石场 图源：unrealengine.com

在拍摄剧中“披甲白熊大战”的虚拟场面时，他们引入了“虚拟摄影机”，通过虚幻引擎的实时渲染特点，360度无死角地现场查看画面效果。

△ 最终画面（上）和虚拟摄像机实时场景模拟

虚拟制片解放了影视创作者：

导演不再因为“角色和场景不是实体”而感到局限，他们真正获得了创作自由。

影视作品回归了本质：作品的难度就不该是“如何实现”，而该是“什么样的故事才动人”。

《曼达洛人》：用实时引擎引领时代

今年，在迪士尼流媒体上线的星球大战衍生剧《曼达洛人》制作幕后公开，震惊了全球影视行业。

它在虚拟制片上再次做出突破性创新，这次，实时3D引擎真正颠覆了传统影视制作流程。

长久以来，绿幕都是好莱坞实现“虚拟与现实结合、创造视觉奇观”最主要的方法。

虽然结果显著，但绿幕确实存在缺陷：

首先，现场布光非常麻烦。

室内绿幕拍摄，光影必须得符合现实，画面才可信。

所以在绿幕中经常需要逐个场景更换打光设备和角度，绿幕画面中也免不了出现“穿帮”的打光设备。

其次，绿幕会在演员身上留下绿色反光，我们称之为“溢色”（Spill），需要在后期去除掉。

△ 绿幕造成的溢色现象

最后，绿幕画面需要后期以完美的抠图和修图技术，才能让真人表演与计算机背景天衣无缝地融合在一起。

最后结果就是，创作者无法在绿幕拍摄现场看到效果，必须通过影视后期“二创”，才能得到成品；

如果后期时发现拍的感觉不对，就已经太晚了，只能靠“补救”的方式做后期。

过去特效影视流程中最大的问题就是——有太多重大决定都是在后期做的，主创无法在拍摄现场以协作的方式做创意决定。

这些问题，数字虚拟片场（Virtual Sets）就能解决。

《曼达洛人》以教科书级别的虚拟制片案例让我看到，影视制作的“实时引擎时代”可能不远了。

《曼达洛人》的制片人乔恩·费儒（Jon Favreau）曾在此前两部自己导演的作品《奇幻森林》和《狮子王》中，严重依赖蓝绿幕和后期制作。

△ 乔恩·费儒和他的CG电影

“《奇幻森林》到处都是绿幕，其实很影响创作和表演，我就想，什么时候能不用绿幕？” 乔恩说。

他的新作《曼达洛人》不是大银幕电影，而是迪士尼流媒体剧。

△ 极客导演乔恩·费儒接手了“星战”世界观下的流媒体衍生剧《曼达洛人》

在拍摄进度赶、预算紧的情况下，乔恩找到工业光魔和Epic Games，大家想出一个办法：

以LED墙作为背景，用实时3D引擎渲染，创造出星战主题场景，然后直接用它拍摄，创作者在实时制片过程中对数字化内容作出实时反应和处理。

△ 《曼达洛人》的虚拟片场

“乔恩·费儒是个远远走在时代前面的人......我们第一次和乔恩会面时，他就对让制片过程重获实时交互和协作的想法兴奋不已。”

Epic Games的首席技术官、《曼达洛人》项目技术负责人Kim Libreri说：

“他愿意试验新的工作流程，并承担实现该目标的风险……

由此产生了一个雄心勃勃的新系统和一套技术，它们将以前人从未尝试过的规模实现部署，以适应电视连续剧制作的快节奏。”

《曼达洛人》第一季拍摄前，剧组建起一个直径为75英尺（约22.86米）、高21英尺（约6.4米）的虚拟片场；

△ The Volume建筑工程

内部除了地面，其余都被巨型LED屏幕包围，甚至还有个可以模拟天空的LED天花板。

片场门一关，这里就成了一个全LED的封闭空间——大家称它为“The Volume”。

△ The Volume

“The Volume”里有七部跑着虚幻引擎和StageCraft软件（工业光魔在虚幻引擎技术基础上打造的虚拟制片工具）的机器，实时驱动LED背景墙上的CG场景；

三位虚幻引擎操控者同时控制虚拟场景的切换、光照和背景效果。

工作人员拿着iPad就可以实时调整场景的曝光、色彩、动画回放、补光等。

虚幻引擎让主创们可以快速在拍摄过程中做出修改：

光照效果、背景中的元素、甚至是完全改变场景设计——如果想把一片山脉从场景的一端整体移到另一端，在现场就能实时完成。

△ 现场用虚幻引擎实时修改拍摄背景

《曼达洛人》动画指导HAL Hickel说：

“它（The Volume）完全包围着你，非常震撼！很快你就会忘记自己是在室内，而不是到了另一个星球。”

LED墙上的3D背景场面不仅逼真，而且还能通过计算机图像仿真技术和实时运算，根据摄像机移动而变化——镜头角度变化，背景也会以精准的比例移动和改变。

△ 图源：unrealengine.com虚拟制片案例

背景和前景表演和谐共生，和实景拍摄一模一样；导演能以传统影视拍摄的方式在虚拟场景下实时产出最终画面。

△ 能够随镜头移动的虚拟背景，拍完就能用，无须后期合成

这对演员也很有帮助。他们不用再在一片绿幕中想象场景，甚至还能在与场景的互动中获得难能可贵的“即兴表演瞬间”。

《曼达洛人》的联合制片人Janet Lewin说：

“所有关键的创意部门同时协作、现场做重大的创意决定；而且实时能看到渲染出的画面，表演也变得更好了。”

《曼达洛人》的R&D指导 Rachel Rose说：

“所见即所得，这对于习惯了传统影视拍摄方法的创作者来说，意义重大。”

针对绿幕拍摄的缺陷，工业光魔负责《曼达洛人》项目的特效指导Richard Bluff认为，“光影”是LED墙最大的优势：

“LED光线提供真实的色彩和光影，打在演员和道具上面，不仅实现了绿幕无法企及的效果，更完全解决了绿幕的溢色问题。”

LED屏幕发出充足的漫反射光，足够形成犹如真实场景中的光照感觉，多数时候不再需要其他光源。

△ 无额外打光情况下的实拍画面

在后期衔接“虚拟场景”和“实拍场景”时，特效团队只需轻微调整两者之间的色差、让场景间的切换变得更自然即可。

而且曼达洛人战衣的金属质地很容易反光，所以“溢色”问题可能会被无限放大，LED照明让角色效果看起来更好。

△ 曼达洛人闪亮的战衣上也不会出现“溢色”

Epic Games的Kim Libreri认为，用巨型LED墙做背景，角色与场景融为一体，画面无比真实可信。

如果需要，LED墙还能有更多可能性——可以把其中一块限定尺寸的屏幕变成绿幕，就能在演员和虚拟背景中间再加一些CG元素，或者在后期用更高清背景画面替换这块绿幕。

这块“绿幕”也绝对不会出现此前的灯光问题。

虚拟片场另一个明显优势就是“省钱”。

同一个LED墙可以用来创建完全不同的场景，只需更换简单的道具，就就一个全新的场景。

电影人们不需要再去外景地拍摄，直接利用虚拟片场中的准确光影就能拍出大量复杂的特效镜头，而且现场实时渲染就能看到最终画面，场景也可以在现场随时切换。

工业光魔的特效人员Marissa Gomes说：

“冰原和沙漠两个不同场景，你可以在同一天里拍摄。”

△ 同一面LED墙，随时能“切换世界”

《曼达洛人》摄影总监Barry Baz Idoine感叹：

“能用一整天时间来拍摄黄昏镜头，这简直太令人惊叹了。

而且在拍摄过程中能说出‘这个好像不太对，我们再把背景移动一下’，这个工具只能用震撼来形容。”

凭心而论，最初搭建这么一个LED墙虚拟片场不便宜，但与“满世界找拍摄场地、整个剧组的差旅费用、在场地里做实景搭建和昂贵的后期费用”相比，这个投资就显得很值了。

虚幻引擎的实时能力与沉浸式LED屏幕相结合，实现了以前无法想象的创作灵活性。

工业光魔的执行创意总监Rob Bredow说：

我们搭建了The Volume，不但有充足的光照，而且实时背景可以直接拍摄，实时预览最终画面……

星球大战系列一直保持着技术创新的传统，我们能把像乔恩·费儒这样电影人的创想变成现实，这就是一场行业革命。”

虚幻引擎对影视制作流程具颠覆性的改变就在两个字——“实时”。

因为“实时”，创作者不仅能在拍摄现场看到最终画面、还是随时做重大修改和调整；

因为“实时”，所有主创能在同一时间多人在线协作，像联机打游戏一样完成影视拍摄制作。

在效率提升之下，是更大创造力的解放。

在国内，原力动画刚刚发布了用虚幻引擎实时渲染制作的高分动画剧《凡人修仙传》，未来还将推出使用同样技术的动画电影。

△ 使用虚幻引擎实时渲染的中国动画《凡人修仙传》

由于ACG二次元影视需求的爆发，以原力为代表的中国影视制作公司已经迎来了虚幻引擎应用的暴涨。

今年Epic Games刚刚公布虚幻引擎5，Nanite虚拟几何体和Lumen全动态全局光照可能意味着更精细的预览画面，很有可能未来借助实时3D引擎，影视后期可以前置，进一步颠覆制作流程。

△ UE5演示画面

就像Epic Games CTO Kim Libreri说的，《曼达洛人》开发的技巧和技术还只是冰山一角，我们已经迫不及待地想看到它所预示的未来。