基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

2022-03-27

越来越多的虚拍影片将Virtual Production(虚拟制片)推向了广阔的影视行业,在疫情之下,LED虚拟拍摄成为了电影工业不可或缺的全新制作方案。


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章


融创文化成立了虚拟制作团队,主要业务包括:为影视客户提供视效、设计、previs 和 post-vis及动画服务,作为国内虚拟拍摄的制作团队,融创文化携手众多科技领域的金牌供应商,致力于建设国内高标准LED虚拟制片全案流程,更专业的服务于行业客户。


就目前来说,虚拟制片是一种电影制作方式,它结合了许多前沿技术如DXR实时渲染(大于等于30FPS的渲染速率),学术上说,虚拟制片是一系列革命性的制作技术。


虚拟制片可能会应用于pitch-vis(动态分镜)、shot-blocking(镜头分解)或者是VFX

Previsualization(视效预览),主要是在虚拟世界里像游戏一样“make a movie”。


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

shot-blocking(镜头调度/分解)


随着GPU(图形芯片)全面转向异构集成架构,如NVDIA CUDA+RT CORE+TENSOR CORE=RTX/DXR pipeline(光线跟踪渲染管线),在硬件光追和DLSS(深度学习采样)的加持下,GPU现在可以以过去数十倍的渲染速度来生成三维环境的全局光照(GI)信息,实时的产生出非常真实的三维环境。


再次凭借AI芯片的低精度的强大算力,LiDAR(激光雷达)将扫描到的实体道具或场景,置换到三维环境中,借助LED屏幕,这些LED屏幕内的三维场景和真实的美术置景都将对被摄人物主题产生非常真实的光照和反射,极大程度的提升了拍摄现场中摄影机拍到的画面真实程度,因此,LED虚拟拍摄又被称为“in-camera-compositing” of VFX(镜头内视效)。


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章


In-camera VFX也被称作Final pixel,VP Set-up一般包含四个工程结构:


Development(Pitchvis with Virtual Art Department), 

Pre-Production(Techvis),

Production(participation Onset), 

Post Production(postvis)


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

利用AR做Techvis


以上图为例,DP(摄影组)将已经扫描好的卡车三维资产借助AR的技术投射在LED屏幕前,DP则可以通过来回走动获得Onset环节中要拍摄的镜头预览,并与VAD和置景、导演等沟通具体的镜头呈现细节,在LED虚拟制片过程中,Techvis则至关重要。


VP(虚拟组)一般会提前检查虚拟地平线(LED显示的实际地平线),确认真实有机物(如植被)和虚拟有机物的差异,还有虚拟色彩列表(Colorchecker)。


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

Colorchecker


后期处理中,月光宝盒传媒,有两个LED的显示问题是值得我们去关注的,包括Motion Blur和Double De-Focus,在以Unreal为代表的虚拟制片系统中,nDisplay关闭了LED的运动模糊后处理效果,所以前景中,尖锐的物体往往不适合出现在快速的镜头中,这会导致画面看起来断断续续,通常地,我们采用虚化背景(De-Focus)的方式来减轻LED背景没有运动模糊的问题。


虚化背景(De-Focus)有时候会产生错误的景深效果,比如物理镜头的实际焦点应该在虚拟背景中的一块石头前,但是整个背景却已经都虚化了,所以要实现计算好实际需要的景深范围,根据需要的景深,来确认虚拟背景后焦平面,整个过程叫做Double De-Focus。


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

融创文化VPr团队 De-Focus测试


融创文化VPr团队经过认真调研,选择了微缩模型的方式来测试LED虚拟制片的实际效果,实现了mini版本的星球大战DEMO,微缩模型的优势在于不用严格定义虚拟地平线,可以比较方便的调整物理实景和虚拟景观的位置,另外,微缩模型离LED屏幕更近,我们知道与光源距离增加光强则衰减的越厉害,更近的被摄距离可以产生更好的反射和光照效果。


基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

融创文化VPr团队 虚拟地平线测试



在pre-production的环节中,Camera Blocking(镜头调度/分解)也是极其重要的环节,我们要对每个镜头提前做好分解规划,测试它实际看起来的效果,DP(摄影组)要给出符合透视科学的镜头画面,以便保证每个镜头的最终完成度。

基于前沿科技,融创虚拟团队实现Mini星球大战,开创VP新篇章

Camera Blocking previs(镜头调度/分解预演)