本文来自微信公众号“品玩”(ID:pinwancool),作者:钟文,36氪经授权发布。
如果你关注数码产品,肯定会留意到 iPhone 12 系列开始支持拍摄杜比视界视频;如果你常用优爱腾,可能会注意到这三家陆续支持了杜比视界和杜比全景声;如果你喜欢看电影,会发现最近一些新上映的重磅影片,比如《寂静之地 2》、《速度与激情 9》以及《悬崖之上》,都能在杜比影院(Dolby Cinema)体验到杜比全景声和杜比视界带来的效果。
从影院到数码产品再到流媒体平台,都在用杜比的技术。杜比视界是 HDR 影像技术,杜比全景声是沉浸式音频技术。两项技术的共同目的,都是还原创作者意图,带来更具真实的体验。
前者能呈现更大的动态范围和更广的色域,简而言之,亮的地方更亮,暗的地方更暗,色彩和细节更丰富。后者能为声音营造更强的空间感,让观众感觉真的“走进”了影片中。而杜比影院是一整套电影放映系统,包括了杜比视界和杜比全景声。
奥斯卡最佳导演阿方索·卡隆,用杜比的技术先后制作了《地心引力》和《罗马》等影片。他曾如此评价杜比技术:“杜比视界和杜比全景声是如今影院体验的终极工具。”
对于观众来说,已经可以在越来越多载体上体验到上述技术。目前,在国内有70家杜比影院。在电视、PC、手机和平板等各类终端产品上,杜比也移植了其技术。比如,iPhone 12 系列、小米 11 Ultra、Redmi K40 系列、小米大师电视OLED 65 英寸版本以及联想ThinkPad X1 Carbon 2021 等设备。腾讯视频、优酷和爱奇艺和 B 站等流媒体平台,也逐渐开始支持杜比体验。
最近,品玩探访了杜比实验室,近距离感受到杜比视界和杜比全景声的生产流程。
当前影视行业提升画质的方向,主要有三个。有的厂商把拍摄设备的传感器面积扩大,以录制更多的像素,达到提升分辨率的目的,即“更多的像素”。有的厂商通过提高帧率,让一秒内捕获的画面更多,使得视频更加流畅,即“更快的像素”。
而杜比视界所做的,是第三个方向:通过更大的动态范围和更广的色域,来呈现“更好的像素”。更大的动态范围可以简单理解为,亮的地方更亮,暗的地方更暗,细节特别丰富。更广的色域指的是,容纳更丰富的色彩层次。
具备更大动态范围和更广色域的影像标准,称之为 HDR( High Dynamic Range,高动态范围)。与之相对应,则是传统的 SDR(Standard Dynamic Range,标准动态范围)。在 HDR 标准里,杜比视界是最成熟与前沿的一种。除此之外,还有 HDR10、HDR10+、SL-HDR1 以及 HLG。
在影视作品制作中,最理想的情况是,人眼能够感知到的动态范围和颜色,在经过拍摄、后期制作、传输和终端显示等流程后,能无损耗地传达给观众。
“现实往往并不如此,以质量比较高的蓝光内容交付为例。目前在视听体验领域的产业链中,影像的动态范围是呈漏斗状逐渐降低的。虽然摄像机能拍摄到拥有非常宽广动态范围的影像,但通过后期制作、母版制作、压缩等环节,影像传输到电视机、手机中时,动态范围已经减小很多了。”杜比实验室高级图像工程师郑鸣昊表示。
可见,保留画面高动态范围的关键点,在于后期制作、母版制作、压缩和传输等环节。也就是说,杜比视界想呈现出 HDR 影像,不仅要在播放终端下功夫,还得在整个流程中前置,保证摄像机捕捉到的动态范围得以保留。
在后期制作环节,之前 SDR 调色的标准会损失很多动态范围。郑鸣昊告诉品玩:“现在通过杜比视界,在调色环节可以把画面整个动态范围和色域放大,比如放大到 1000 尼特甚至2000 尼特(亮度单位,数值越高越亮)。
经过调色后,画面动态范围保留下来,然后在内容中加入动态元数据,元数据会伴随内容,经过传输、解码、显示在终端设备上,设备会识别素材的元数据,并根据元数据在设备具有的能力上还原画面动态。”
在杜比视界内容制作实验室里,品玩看到了此流程的具体细节。“这个是我们按杜比视界家庭版后期制作配置的实验室的环境,它模拟的是绝大多数后期制作公司调色情况。”郑鸣昊表示。
(杜比视界内容制作实验室的配置环境)
硬件设备上,右边有一台调色工作站,下面正前方有一台专业级别的 HDR 监视器,亮度最高可达 3000 尼特。
此外,墙上还挂着两台电视机,用于预览画面最终呈现在消费级电视机上的效果。左边的电视机能呈现 HDR 画面,右边的只能显示 SDR 画面。软件方面,杜比没有自己的调色工具,而是把一些功能集成到了最流行的专业调色软件达芬奇里面。
之前的 SDR 流程里,拍摄下来的画面虽然也有很大动态范围,但由于软硬件的限制,调色师的创作空间很小。而基于 HDR 监视器,调色师可以根据创作意图,充分利用画面的动态范围。
“一般做到这一步,传统的调色工作就结束了,调色师只能对监视器上的片子质量负责,但是这条片子呈现在不同终端的效果,调色师没有办法控制。”郑鸣昊介绍道,“而有了杜比视界的动态元数据,创作者可以在调色的过程中,对不同的消费类显示终端(比如电视)进行影像控制。”
具体而言,杜比视界包含了一个内容映射单元 CMU(Content Mapping Unit)。创建好的元数据嵌在 HDR 视频信号中,接着被传输到 CMU。CMU 会根据显示设备的性能,利用调色软件所生成的元数据,将接收到的 HDR 信号映射为 SDR 信号。
这个时候,工作室里挂着的两台电视就派上了用场。通过左边的电视,能看到 HDR 画面;通过右边的电视,能看到 CMU 映射出来的 SDR 画面。调色师直接对比两台电视的画面,如果不满意的话就进行微调。
“相当于调色师可以把控住两端的画面呈现,一端是最好的 HDR 效果,另一端是最差的 SDR 效果。而画面真正呈现在消费者面前时,通常是介于两端画面中间。”郑鸣昊表示。
杜比视界志在尽可能还原人眼所能看到画面,而杜比全景声在声音方面做的工作,也是同理。
人们在真实生活里听到的声音,基本上是从四面八方传来的,但是由于技术限制,大部分音效是以左右两声道的立体声方式呈现,因此无法呈现真实的声音效果。
后来环绕声技术出现,在平面立体声的基础上增加了后方声道,可以在平面上把一定的声音氛围还原处理,但是效果仍然是平面的。
“杜比全景声则是还原了真实世界里人们听声的条件,让声音从三维空间的各个方位袭来,呈现正常的声音还原效果,也给创作者们一个真实的声音创作空间。”杜比实验室技术总监张岩表示。
除了更强的空间感,杜比全景声还有一个特点——基于对象而非声道。在传统立体声体系里,有 5.1、7.1、9.1 或 11.1 等不同的声道。一个声道对应一个扬声器,录音师的创作是通过一个一个的声道呈现,对声音做精准定位比较困难。
张岩介绍道:“应用杜比全景声后,可以将需要做定位和移动的声音定义成为对象。每一个对象可以被赋予一个精确的XYZ坐标,这个坐标从这点移到另一点,会有一个精确的轨迹,将声音从传统的状态变得更加鲜活。”
在杜比全景声家庭版制作实验室里,品玩看了一些细节。这个实验室是按照杜比全景声5.1.4系统搭建的,包含 5 个传统环绕声扬声器、1 个超低音音箱和 4 个顶部扬声器或向上发声扬声器。“做音乐和做影视剧,在这个环境里面就可以了”。
(杜比全景声家庭版制作实验室配置环境)
软件工具方面,采用的是制作影视和音乐时常用的 AVID Pro Tools 工作站和杜比全景声渲染器,可以把声音在空间里面进行定位。
人们接触到杜比全景声通常是在影视剧,但对于杜比全景声的应用场景,张岩还举了一个交响乐的例子:“交响乐追求的是空间感,杜比全景声就完全可以实现。我们举办过几场活动,请音乐家和音乐会爱好者一起来听杜比全景声版本的交响乐,大家反馈感觉就像现场一样,甚至会超越现场。这是因为在现场,有很多细节是很难听到的,而在杜比全景声环境里可以听到。”
一番探访下来,深感杜比实验室对技术的热情。事实上,杜比实验室全球 2200 多名员工中,科研人员占比非常高。有700多名科学家和工程师,每天在进行各种各样基于人类感知的技术研究。凭借着技术能力,杜比获得了16座艾美奖和12座奥斯卡奖,且都是这两个奖项中专门的技术奖项。