据艾媒咨询,2020年短视频用户规模将达7.22亿,与2013年的0.38亿相比,7年CAGR达52%。用户数的爆发对应着巨大的内容制作需求,如何开发简单易上手的内容制作工具成为行业下一步的发展重点。与短视频相对应,专业影视制作已经有较完备的技术体系,那能否将电影等长视频制作技术迁移到短视频领域,从而提高内容生产效率呢?36氪近期接触到一家短视频制作工具开发商「深锶科技」,其将专业影视中的虚拟制作、AI等技术应用到了短视频制作中。
「深锶科技」的核心团队在视频、图像处理领域有十余年经历。创始人陈翌毕业于清华大学,曾任阿里影业产品技术负责人,对好莱坞电影制作中的3D、AI和计算机视觉技术有较深积累。团队将长视频领域的工业级解决方案标准化后,降维输出,针对短视频制作推出了AI短视频编辑器场景大师。该编辑器以计算机视觉和计算机图形学为底层技术基础,目前主要从场景迁移入手,降低短视频制作难度并提高效率。
场景迁移是短视频制作中较通用的痛点,常见需求包括将室内拍摄的瑜伽视频换成自然背景。各大短视频平台也均上架了多种场景迁移的模板,但模板化的产品并不能满足视频制作的升级换代。另据创始人陈翌介绍,传统视频制作中,场景迁移需要用AE等合成软件重新制作、渲染,工具使用门槛高,且光影处理、渲染耗时长。「深锶科技」利用AI技术,将视频中的前后景自动分离、整合,然后一键处理光影,并提前做好渲染合成,大大节省了视频制作时间。过程中涉及到视频解构,即将视频中的各个元素,包括表情、动作、姿态、时间线等分离,然后利用3D建模、重组等重构视频内容的组织形式。
这种方式下,不仅不会影响视频最终的呈现效果,还会提高视频制作的灵活度,比如通过3D组建将视频由平面转换成3D;通过任意摆放镜头来丰富镜头语言,增强感染力。
解决方案架构图
创始人陈翌解释,场景大师产品的研发受到了好莱坞电影工业中的虚拟制作工具集的启发。然而,考虑到好莱坞的软硬件方案过于昂贵,团队决定采用纯软件的方案来解决。团队自主研发CG和AI功能,最终产品是将3D建模、场景替换、光影处理和云端合成等功能打包的all in one的云端一体SaaS编辑工具。其中,AI技术主要用在视频前后景的自动分离、前景的自动重建以及表情和姿态的迁移。
接下来,团队计划打磨通用型工具,再嵌入各大短视频平台的内容制作中,覆盖更多视频场景,其最终目标是形成视频制作的通用标准。
目前,场景大师的UI设计还在进一步完善中。一般来讲,视频资料打开后,用户可在云端选择场景和材质,而后由AI完成前后景的自动分离,用户选择需要保留的帧数,云端自动处理光影、渲染后自动合成视频作品。
「深锶科技」的主要客户群体以B端的MCN和PGC机构为主,产品以SaaS形式服务客户。对于有私有部署要求的客户,也会按需定制技术服务方案。此外,公司也会出售有版权的场景素材等来盈利,未来想打造场景素材交易社区。