首先要讲的是虚拟制作，它是将计算机中虚拟场景与摄像机实景视频进行实时合成，使人物与虚拟场景能够同步变化，从而输出高真实感合成画面的视频制作方式，XR虚拟制作必须以LED大屏为背景且有屏外扩展画面。2021年春晚节目《牛起来》便是虚拟制作的典型案例。

本次直播，将摄像机跟踪、数字人、动作捕捉、LED大屏、UE5实时渲染等前沿技术或工具，有机结合到了一起。其中凌云光自主研发的FZMotion光学运动捕捉系统部署在场地中，保障了现场“中之人”的动作捕捉与真实摄像机的跟踪，是连接虚拟与现实世界的桥梁。

为了让真实摄像机在运动的时候，LED大屏上的画面以及屏外拓展画面能够发生相应的准确变化，FZMotion快速精准的跟踪真实摄像机6自由度（6DoF, 6 degree of freedom）变化，结合镜头信息，传输至UE5虚拟摄像机实时渲染引擎。不同于机械跟踪或机身上安装相机（InSide-Out）的跟踪方式，当舞台周围多台真实摄像机同时需要被跟踪时，一套FZMotion系统便能搞定，无需根据被跟踪摄像机数量来增加跟踪系统数量。

为了让沐岚动起来，FZMotion实时捕捉 “中之人”的动作，并融合面部捕捉与手指捕捉设备，将“中之人”的表情、手指动作、身体动作传递给沐岚并对其进行驱动。

一套动捕，多种跟踪

观众看到的包含沐岚的图像，其实由多个画面组合而成。一是真实摄像机拍摄到的，包含LED屏上的表演者、基于真实摄像机视角渲染而成的LED屏上画面。二是数字人沐岚，她被以AR前景的方式叠加到了画面一上。当摄像机拍摄到LED屏外的时候，还需要渲染屏外拓展画面，同画面一和二拼接。多个画面虚实融合，呈现给观众。而这一切，都离不开FZMotion的摄像机跟踪与真人动作捕捉。

【彩蛋】

沐岚与FZMotion同框解密直播黑科技，下期再会~