摘要：本文以浙江卫视苏宁易购超级秀晚会为实践案例，聚焦晚会"视觉效果与节目内容深度契合、虚拟与现实无缝融合"的核心需求，拆解国内少有的xR+AR双虚拟技术协同应用方案。重点分析基于hecoos服务器的虚拟系统架构、1台Pixotope服务器与4台装载Notch引擎的hecoos服务器协同逻辑、4机位跟踪系统部署，以及LED立方体屏的沉浸式呈现的关键技术细节，结合李荣浩演唱环节的虚拟场景落地案例，梳理双虚拟技术在晚会舞台应用的核心难点与解决方案，总结该技术方案对展演行业的创新赋能价值，为同类晚会、综艺节目的虚拟舞台制作提供可复用的实操参考。
0 引言
舞台设计的核心目标是实现视觉效果与节目内容的完美契合，随着xR、AR等虚拟制作技术的蓬勃兴起，展演行业迎来了虚实融合的创新变革。一众行业探索者率先将这类"黑科技"应用于舞台实践，打破了现实与虚拟的边界，为观众呈现出更具沉浸感、想象力的视觉体验。浙江卫视苏宁易购超级秀（10月31日20:10播出）作为国内少有的同时运用xR与AR两种虚拟技术的节目晚会，创新搭建无缝无边LED立方体拍摄空间，依托hecoos服务器为核心的虚拟系统，结合Pixotope服务器、Notch引擎与多机位跟踪系统，将虚拟场景与节目内容深度绑定，成功打造了一场绮丽华美的视觉盛宴，不仅验证了xR+AR双技术协同在晚会舞台的可行性与适配性，更为国内展演行业的虚拟技术应用树立了全新范本。
一、项目背景与技术需求
1.1 项目场景概况
浙江卫视苏宁易购超级秀以"视觉盛宴+节目内容深度融合"为核心定位，致力于通过虚拟技术将节目情绪、内容场景具象化，为观众带来直观的视听冲击。本次晚会最大的创新的是同时运用xR与AR两种虚拟制作技术，现场搭建三块从立面连接到地面的LED屏，组合成无缝无边的立方体空间，构建沉浸式虚拟拍摄环境。晚会虚拟系统以hecoos服务器为基础，搭配1台Pixotope服务器、4台装载Notch引擎的hecoos服务器，部署4个机位（2个固定机位、1套机械摇臂跟踪系统、1套电轨追踪系统），虚拟内容由DNT视觉团队专属制作，重点落地于李荣浩演唱环节，通过虚拟场景还原歌曲情绪，实现虚拟与真人表演的自然融合。
1.2 核心技术需求拆解
结合晚会舞台"虚实融合、场景具象化、视觉流畅性"的核心要求，以及xR+AR双技术协同的应用特点，梳理出4项核心技术需求，均依托本次部署的虚拟系统实现落地：
-
xR+AR双技术协同兼容：实现两种虚拟技术的无缝协同，xR技术依托LED立方体构建沉浸式虚拟空间，AR技术实现虚拟元素（音符、场景组件）与真人表演的精准叠加，避免技术冲突；
-
虚拟场景与节目内容契合：通过虚拟内容将音乐中的情绪与场景具象化，如歌曲演唱中的虚拟房间组建、音符实体化呈现，贴合节目氛围；
-
多机位精准跟踪：4个机位（固定+跟踪）实现实时精准追踪，确保虚拟场景、AR元素与摄像机运镜同步，避免画面错位、脱节；
-
高稳定渲染输出：依托多服务器协同，实现虚拟场景、AR元素的实时渲染，确保LED屏呈现流畅，无卡顿、掉帧，贴合音乐节奏与表演节奏。
二、核心技术架构与硬件部署
2.1 硬件部署方案
本次晚会以hecoos服务器为核心，搭建"hecoos基础系统+Pixotope辅助+Notch引擎渲染+多机位跟踪+LED立方体"的全链路虚拟制作架构，所有设备围绕xR+AR双技术协同运作，具体配置、核心功能及协同逻辑如下表所示：
| 硬件设备/系统 | 数量/配置 | 核心功能 | 与hecoos服务器的协同逻辑 |
|---|---|---|---|
| hecoos服务器 | 若干（含4台装载Notch引擎） | 虚拟系统核心支撑，搭载Notch引擎实现实时渲染，配合多机位跟踪数据处理 | 作为核心节点，接收机位跟踪数据、虚拟资产，联动Pixotope服务器实现双技术协同，输出渲染画面至LED屏 |
| Pixotope服务器 | 1台 | 辅助虚拟合成，优化xR与AR技术协同兼容性，提升虚实融合精度 | 与hecoos服务器实时联动，同步处理虚拟合成数据，弥补单一系统的合成短板，确保双技术无缝衔接 |
| Notch引擎 | 4套（装载于hecoos服务器） | 虚拟场景、AR元素的实时渲染，动态效果生成（如音符旋转、房间组建） | 依托hecoos服务器的算力支撑，接收DNT视觉团队制作的虚拟资产，完成动态渲染并同步至合成节点 |
| 机位系统 | 4个（2固定、1机械摇臂跟踪、1电轨追踪） | 真人表演拍摄、虚拟场景同步跟踪，实现多元视角切换 | 跟踪系统实时采集机位位移、姿态数据，传输至hecoos服务器，确保虚拟内容与摄像机运镜同步 |
| LED立方体屏 | 3块（立面+地面无缝衔接） | 构建沉浸式虚拟空间，实时呈现xR虚拟场景，为演员提供视觉参照 | 接收hecoos服务器输出的渲染画面，无缝呈现虚拟场景，配合AR元素叠加，实现虚实一体化呈现 |
| 虚拟内容制作团队 | DNT视觉团队 | 晚会所有虚拟场景、AR元素（房间组件、音符等）的设计与制作 | 将制作完成的虚拟资产导入hecoos系统，配合技术团队完成渲染参数适配与效果调试 |
2.2 核心架构分工逻辑
-
双虚拟技术协同分工：xR技术依托LED立方体屏构建沉浸式虚拟空间，还原歌曲场景（如虚拟房间），让演员身处真实可感的虚拟环境中；AR技术聚焦虚拟元素叠加，将抽象的音乐情绪转化为具象的虚拟实体（如旋转音符），实现虚拟元素与真人表演的精准互动，两者通过hecoos与Pixotope服务器的协同，实现无缝融合、互不干扰。
-
服务器与引擎协同分工：hecoos服务器作为核心支撑，承担数据处理、算力调度、协同控制的核心职责；4台装载Notch引擎的hecoos服务器专注于实时渲染，高效处理虚拟场景动态效果与AR元素生成；1台Pixotope服务器辅助优化合成精度，解决xR与AR双技术协同的兼容性问题，确保画面融合自然。
-
多机位跟踪分工：2个固定机位聚焦演员近景、特写拍摄，捕捉表演细节；机械摇臂跟踪系统负责全景、动态运镜，展现LED立方体的沉浸式场景；电轨追踪系统实现平滑移动拍摄，配合虚拟场景切换，打造多元视角，所有机位的跟踪数据实时同步至hecoos服务器，确保虚拟内容与运镜节奏同步。
三、关键技术实现流程
本次xR+AR双虚拟技术落地，围绕晚会节目内容与视觉需求，实现流程分为前期虚拟资产制作-系统联调-现场录制-后期轻量化优化四个阶段，结合李荣浩演唱环节的具体场景，拆解各阶段技术实现细节与操作要点：
3.1 前期准备：虚拟资产制作与系统联调
-
虚拟资产定制制作：DNT视觉团队结合晚会节目内容，重点制作两类虚拟资产------一是李荣浩演唱《耳朵》相关的虚拟场景（可动态组建的房间、旋转阶梯），二是具象化音乐情绪的AR元素（实体化音符），资产制作完成后导入hecoos系统，适配Notch引擎的渲染要求，优化动态效果参数。
-
系统架构部署与协同调试：完成hecoos服务器、Pixotope服务器的部署，将4套Notch引擎装载至指定hecoos服务器，搭建专用数据传输链路，确保服务器间数据传输延迟控制在5ms以内；调试xR与AR双技术的协同逻辑，通过hecoos系统设置融合参数，避免两种技术叠加时出现画面冲突、错位。
-
机位校准与LED屏调试：对4个机位进行精准校准，通过hecoos系统匹配机位光学参数与LED立方体屏的空间坐标，确保跟踪系统能实时捕捉机位变化，虚拟内容与屏内空间透视一致；调试LED屏的显示参数，确保虚拟场景色彩、亮度均匀，与现场灯光、演员肤色协调。
-
节目场景模拟测试：针对李荣浩演唱环节，进行多次虚拟场景与表演的模拟适配，测试虚拟房间组建、音符旋转的动态效果与音乐节奏的契合度，调试机位跟踪精度与画面流畅性，及时优化渲染参数，确保正式录制时虚拟效果与表演完美同步。
3.2 现场录制：核心技术落地与场景呈现
-
双虚拟技术协同运作：晚会录制全程，hecoos服务器联动Pixotope服务器，实现xR与AR双技术无缝协同------xR技术通过LED立方体屏呈现沉浸式虚拟场景，AR技术依托Notch引擎的实时渲染，将虚拟元素精准叠加至真人表演画面，两者融合精度高，无画面割裂感。
-
节目场景精准落地（李荣浩演唱环节）：
-
场景一：虚拟房间动态组建------地砖跟随音乐节奏闪亮，灯光亮起后，通过xR技术实现虚拟房间组件（楼梯、栏杆、桌椅、墙壁）的逐步呈现，镜头聚焦时营造完整房间场景，镜头拉远后还原"房间中仅李荣浩一人演唱"的视觉反差，凸显歌曲情绪；
-
场景二：AR音符实体化呈现------在《耳朵》演唱环节，通过AR技术将音符转化为实体，配合xR虚拟旋转阶梯场景，实现音符从左下方旋转上升、盘旋在歌手身边再随风远去的动态效果，将抽象的音乐情绪具象化，增强观众的直观感知。
-
-
多机位跟踪与视角切换：4个机位按预设逻辑协同运作，固定机位捕捉李荣浩演唱特写与情绪细节，机械摇臂跟踪系统展现虚拟房间与LED立方体的全景风貌，电轨追踪系统实现平滑运镜，配合虚拟场景切换；hecoos服务器实时接收机位跟踪数据，确保虚拟场景、AR元素与摄像机运镜同步，镜头切换流畅自然，无画面错位。
-
实时渲染与画面监控：4台装载Notch引擎的hecoos服务器，实时渲染虚拟场景与AR动态元素，确保帧率稳定在60fps以上，无卡顿、掉帧；技术团队通过hecoos系统主控界面，实时监控服务器运行状态、渲染效果、机位跟踪精度，可根据现场表演节奏，即时微调虚拟元素的动态参数，确保视觉效果与节目内容完美契合。
3.3 后期优化：轻量化处理与品质校准
依托本次虚拟系统"后期前置"的核心优势，现场录制阶段已完成绝大部分虚实融合、动态效果呈现工作，后期仅需进行轻量化处理，无需大规模视效优化：
-
画面细节微调：对少量镜头的虚实融合边缘、AR元素叠加精度进行微调，进一步提升画面整体性，消除细微违和感；
-
色彩与节奏校准：统一全环节镜头的色彩参数，确保虚拟场景、AR元素与真人表演的色彩协调；优化虚拟动态效果与音乐节奏的契合度，让房间组建、音符旋转与演唱节奏完全同步；
-
冗余数据清理：清理录制过程中产生的渲染冗余数据、设备运行日志，优化素材导出效率，缩短后期制作周期，适配晚会的播出与传播需求。
四、技术难点与解决方案
结合本次晚会xR+AR双技术协同的实践经验，梳理出4项核心技术难点，均基于本次部署的虚拟系统（hecoos+Pixotope+Notch）给出针对性解决方案，经现场实测验证，优化效果显著，具体如下表所示：
| 技术难点 | 具体表现 | 解决方案（基于本次虚拟系统） | 优化效果 |
|---|---|---|---|
| xR+AR双技术协同冲突 | 两种虚拟技术叠加时，出现画面错位、渲染卡顿，虚拟场景与AR元素脱节 | 以hecoos服务器为核心，联动Pixotope服务器优化协同逻辑；拆分渲染任务，由Notch引擎专项负责AR元素渲染，避免负载冲突 | 双技术无缝协同，画面无错位、卡顿，虚拟场景与AR元素融合自然 |
| 多机位跟踪精度不足 | 摄像机运镜时，虚拟内容与屏内空间透视错位，AR元素跟随不精准 | 通过hecoos系统优化机位校准算法，提升跟踪系统采样频率；匹配机位光学参数与LED屏空间坐标，实时修正透视偏差 | 机位跟踪精度提升，虚拟内容与运镜同步，透视关系一致，无错位现象 |
| 虚拟动态效果与节目节奏脱节 | 虚拟房间组建、音符旋转与音乐节奏、演唱情绪不契合，影响视觉体验 | DNT视觉团队与技术团队联动，预设动态效果触发节点；hecoos系统支持实时微调参数，适配现场表演节奏 | 虚拟动态效果与音乐、演唱完美同步，精准具象化节目情绪 |
| LED立方体屏画面违和 | LED屏虚拟场景与现场灯光、演员肤色不协调，出现画面割裂感 | 通过hecoos系统校准LED屏色彩、亮度参数；优化虚拟场景光影效果，使其与现场灯光匹配 | LED屏画面与现场环境自然融合，演员与虚拟场景浑然一体，无割裂感 |
五、技术落地价值与行业应用
5.1 对本次苏宁易购超级秀的核心价值
-
双虚拟技术创新突破：作为国内少有的同时运用xR与AR双虚拟技术的晚会，成功实现两种技术的无缝协同，打破了单一虚拟技术的视觉局限，为晚会打造了极具想象力的视觉效果。
-
节目内容与视觉深度融合：通过虚拟场景、AR元素将歌曲情绪、内容场景具象化，如虚拟房间、旋转音符的呈现，让观众更直观地感知节目内涵，提升了晚会的观赏性与感染力。
-
沉浸式体验升级：LED立方体屏构建的虚拟空间，搭配双虚拟技术，让演员与虚拟环境自然互动，也让观众仿佛置身于虚实交织的场景中，实现了观演体验的升级。
-
技术落地可复制性强：本次搭建的hecoos为核心的虚拟系统、多机位跟踪方案，以及双技术协同逻辑，具备极强的实操性，可直接复用于同类晚会项目。
5.2 行业复用价值与应用场景
本次xR+AR双虚拟技术协同方案，依托hecoos服务器、Notch引擎与Pixotope服务器的协同优势，解决了晚会舞台虚拟制作的核心痛点，具备广泛的行业复用价值，尤其适用于：
-
综艺晚会、主题盛典：可复用双虚拟技术协同、多机位跟踪、LED沉浸式呈现的方案，打造绮丽的视觉盛宴，实现节目内容与视觉效果的深度融合；
-
歌手演唱会、音乐节目：借鉴本次歌曲场景具象化的思路，通过xR+AR技术将音乐情绪转化为虚拟元素，增强演唱环节的视觉冲击力与情感共鸣；
-
商业晚会、品牌盛典：依托双虚拟技术与LED立方体屏，打造沉浸式品牌展示场景，实现品牌理念与节目内容的结合，提升品牌传播效果；
-
虚拟偶像、二次元展演：复用虚实融合、动态元素渲染的技术，实现虚拟偶像与现实舞台的互动，打造沉浸式展演体验。
六、总结
本文以浙江卫视苏宁易购超级秀晚会为实践案例，完整拆解了xR+AR双虚拟技术在晚会舞台的协同落地细节，重点分析了以hecoos服务器为核心的虚拟系统架构、1台Pixotope服务器与4台装载Notch引擎的hecoos服务器的协同逻辑、4机位跟踪系统的部署与应用，结合李荣浩演唱环节的具体虚拟场景，阐述了双技术协同、实时渲染、虚实融合等关键技术的落地要点，并针对核心技术难点给出了可复用的解决方案。
实践证明，本次搭建的虚拟系统凭借强大的协同能力、精准的跟踪精度、稳定的渲染输出，成功实现了xR+AR双技术的无缝协同，将节目内容与虚拟视觉完美融合，打造了一场绮丽华美的视觉盛宴。本次技术落地不仅为浙江卫视苏宁易购超级秀注入了科技活力，更填补了国内晚会同时运用xR与AR双虚拟技术的实操空白，形成了一套可复制、可推广的晚会虚拟制作技术方案，为展演行业的虚拟技术创新应用提供了重要参考，推动了国内展演行业向虚实融合的数字化方向升级。
未来，随着虚拟制作技术的不断发展，hecoos相关系统将持续优化双技术协同能力，助力更多展演项目打破现实与虚拟的边界，实现视觉效果与节目内容的深度契合，为观众带来更具沉浸感、想象力的视听体验。
技术注解：本文基于浙江卫视苏宁易购超级秀晚会实际虚拟制作项目撰写，核心技术参数、架构部署、流程细节及节目场景均来自项目实际落地情况，聚焦xR+AR双虚拟技术的协同实操拆解与行业复用，无任何商业营销属性，仅供虚拟拍摄技术从业者、晚会制作从业者、展演行业探索者参考学习。