论文Review 3DGS综述 | 南京大学 | 3DGS Survey, Technologies Challenges and Opportunities |（二）扩展、模块增强、其他技术讨论挑战

基本信息

题目：3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities

来源：IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 35, NO. 7, JULY 2025

学校：南京大学

是否开源：https://github.com/qqqqqqy0227/awesome-3DGS

摘要：三维高斯泼溅（3DGS）已成为一种重要技术，有潜力成为主流的三维表示方法。它可以通过高效的训练，将多视图图像转化为显式的3D高斯分布，并实现新颖视图的实时渲染。本次调查旨在从多个交叉视角分析现有的3DGS相关工作，包括相关任务、技术、挑战和机遇。其主要目标是让新手快速理解该领域，并协助研究人员有条不紊地组织现有技术和挑战。具体来说，我们深入探讨了3DGS的优化、应用和扩展，并根据它们的重点或动机进行分类。此外，我们还总结并分类了九类技术模块及其在现有作品中识别出的相应改进。基于这些分析，我们进一步探讨了各项任务中的共同挑战和技术，提出了潜在的研究机会。

V. EXTENSIONS OF 3D GAUSSIAN SPLATTING

A. Dynamic 3D Gaussian Splatting

• 1. Multi-View Video Inputs

逐帧建[167],[168]：[167]时运动+物理先验（局部刚性/旋转相似/长时等距）。SWAGS[169]窗基4DGS+流导窗分+一致损失。

• 2. Monocular Video or Multi-View Image Inputs

规范重建+变形预测[171-177]：[171]位置-时编码预测位移/旋转/缩放。4D-GS[173]HexPlane编码时空。Gaussian-Flow[180]双域变形（多项式/傅里叶拟合运动）+时步缩放。

4D空间[183],[184]：[183]4D旋转/缩放/时SH。[184]转子分解4D一致损失。

表格IV（D-NeRF数据集）：Deformable3DGS PSNR 39.31, FPS 85.45；4DRotorGS 5min训，1237FPS。含义：4D表示高效动态。

分析：比静态强在时一致，但突变/新物难。连续运动拟合如傅里叶优于离散偏移。
​

B. Surface Representation

挑战：3DGS提表面难。SDF[185-188]：SuGaR[185]理想SDF约束表面对齐+Poisson重建Mesh。[187]神经隐SDF+可微SDF-不透明转换。

改进表示[192-195]：Gaussian Surfels[192]深度-法线一致损失。2DGS[194]平面盘表示。GOF[193]射线归一化1DGS体积渲染。

分析：SDF比vanilla强在几何准，但无界场景/开销大。2DGS高效但限透明。

C. Editable 3D Gaussian Splatting

• 1. Manipulation by Text

SDS[196],[197]：GaussianEditor[196]分层3DGS+锚损失+2D重绘。GSEdit[197]用Instruct-Pix2Pix[198]SDS。

编辑多视图图像再重建[199-201]：GaussCtrl[200]深度导ControlNet[202]+注意力对齐一致。

4D[203]：Control4D 4D高斯平面+超分GAN。

• 2. Manipulation by Other Conditions

TIP-Editor[205]文本/参考图像/位置。Point'n Move[206]点标注分割/重绘/重组。

• 3. Stylization

208\]2D风格模块+3D颜色模块一致。 * 4) Animation SC-GS\[181\]动画稀疏控制点。BAGS\[142\]视频SDS动画。 分析：编辑如"3D Photoshop"，SDS泛但不稳，多视图编辑一致性关键。与NeRF比，3DGS易操作但需防伪影。 ### D. Relightable 解耦纹理/光\[210\],\[211\]：Relightable 3D Gaussian\[210\]点+法线/BRDF/分解光。GS-IR\[211\]类似。GaussianShader\[32\]混色+GGX+残差。 OLAT-GS\[212\]衰减光+入射+散射。GS³\[213\]空间/角高斯+三溅射+神经网自影/全局光。 分析：比vanilla强在反射/复杂光，但透明/材料难。未来：逐像素着色扩展。 ### E. Semantic Understanding 用预训2D模型监督语义属性\[214-217\]。Feature 3DGS\[215\]联合特征场+光栅化下游任务。 文本-视觉对齐\[220-222\]：\[220\]CLIP/DINO\[223\],\[224\]特征离散VQ\[225\]。FMGS\[222\]多分辨哈希编码\[226\]减维。 分析：语义如"3D标签"，增强检测/分割。与前作比，3DGS显式易扩展，但多视图一致/开世界难。 ### F. Physics Simulation PhysGaussian\[227\]3DGS离散场景+连续介质力学+MPM\[228\]求解。PhysDreamer\[229\]类似。VR-GS\[230\]交互模拟VR。 分析：桥接模拟/渲染，但计算重。未来：加物理属性如速度/力。 ## VI. 3DGS COMPONENTS AND IMPROVEMENTS 这一节是论文的技术核心，系统总结了vanilla 3DGS的九大模块改进：初始化、属性扩展、溅射、正则化、训练策略、自适应控制、后处理、与其他表示整合、额外先验（如图3、4、5所示）。动机在于帮助研究者理解这些模块的共性，并自定义优化以适应特定任务。背景：3DGS的显式结构便于模块化改进，但需平衡效率与真实度。 分析：这个节像"3DGS的工具箱"，每个模块的升级都能解决特定痛点。与前作综述不同，本文强调跨任务技术复用，比如初始化改进能提升稀疏视图重建的稳定性。为什么重要？它提供"原子级"指导，让新人从基础构建高级变体。 ### A. Initialization 核心观点：初始化决定优化起点，SfM稀疏点或随机点常不可靠，尤其弱监督下。动机：避免训练不稳，捕捉低频信号。背景：传统方法依赖高质量SfM，改进引入先验提升鲁棒性。 关键方法： * 预训模型\[50\],\[96\],\[97\],\[101\],\[61\],\[126\],\[127\]：用少量3D样本预训模型初始化，或单目深度估计提供位置先验。创新：如\[96\]加扰动点补几何完整性。解决：数据限下不稳。 * 策略改进\[231\]：稀疏-大方差初始化，SfM捕低频，随机大方差补高频。 * 其他表示\[232\],\[63\],\[77\],\[79\],\[212\],\[233\]：用Visual Hull\[63\]、FLAME\[77\]、Mesh\[79\],\[212\],\[233\]初始化，提供结构几何先验。如\[232\]局部体积初始化少量高斯，避免过度假设。 分析：初始化如"种子"，好种子长好树。比vanilla随机强在防局部最优，但牺牲效率。与NeRF比，3DGS易整合先验，但未来需减初始化依赖，如自适应初始化。 ### B. Attribute Expansion ​ 核心观点：原属性（位置、缩放、旋转、SH、不透明）可改进或新增，提升任务适应。动机：让3DGS更灵活，如表面重建或动态。背景：扩展像"升级硬件"，但增存储需压缩。 #### 1) 改进现有属性 * 缩放：压扁z缩放\[24\],\[91\],\[185\],\[192\],\[194\]，加深度/法线监督表面化；限主/次轴比\[148\],\[227\],\[234\]防瘦内核伪影。 * SH：哈希网格+MLP压缩\[12\]，减存储。 * 不透明：趋0/1\[32\],\[185\]清表面。 * 高斯：用GEF混合\[15\]替换（β=2为原3DGS），提升表示效率。 #### 2) 新增属性 * 语义\[145\],\[146\],\[158-160\],\[215\],\[218\],\[219\],\[235\]：加语义监督，提升SLAM/编辑。身份编码\[214\]分组实例。 * 分布\[43\],\[99\]：位置/缩放分布防局部最小。 * 时序\[138\],\[145\],\[183\],\[184\]：时SH/4D属性动态化，用傅里叶基函数\[145\],\[183\]。 * 位移\[43\],\[171\],\[172\]：无条件精炼粗属性；条件如时步t\[171\],\[172\],\[173\]、表情\[39\],\[69\],\[75\],\[78\],\[82\],\[83\],\[84\],\[85\],\[191\]预测变形。 * 物理\[32-34\],\[174\],\[212\],\[213\],\[175\]：漫反射/镜面/残差色/阴影/各向异性SH处理反射/光照；速度\[175\]瞬态。 * 离散\[8-10\],\[12\],\[115\],\[179\],\[220\]：VQ码本索引压缩；运动基系数\[179\]。 * 推断\[10\],\[28\]：参数敏感性\[10\]导压缩；像素覆盖\[28\]导多尺度采样。 * 权重\[181\],\[232\],\[233\],\[236\]：结构表示如局部体积\[232\]、RBF\[181\]、Mesh\[233\]、SMPL\[236\]计算查询点权重。 * 其他\[57\],\[150\],\[220\],\[155\]：不确定性\[57\],\[220\]稳训练；ORB特征\[150\],\[155\]对应。 图3描述：概述扩展策略，分类改进/新增，展示语义/时序等分支。 分析：扩展如"加插件"，语义属性比vanilla强在物体边界准，但增存储（如高维CLIP特征\[220-222\]用哈希编码减维）。重要性：跨任务通用，如物理属性桥接模拟/渲染。未来：平衡扩展与压缩。 ### C. Splatting 核心观点：溅射将3D高斯高效转2D图像。动机：提升效/性能平衡。背景：传统EWA限局部近似/采样。 方法：\[237\]径向投影+单位球栅化适鱼眼/全景相机；\[31\]像素窗logistic积分防锯齿；\[238\]GPU射线追踪半透明粒子。 排序\[26\]：逐像素分层防弹出，减50%高斯、速1.6x、存2x。 分析：溅射如"画笔"，改进权衡复杂场景/相机。研究少，未来需高效复杂模型支持。 ### D. Regularization 核心观点：正则防过拟合，分3D/2D（如图4）。动机：约束属性优化，尤其欠定问题。 ​ #### 1) 3D正则 * 个体：改进高斯属性\[24\],\[79\],\[123\],\[227\],\[234\]。 * 局部一致：语义\[214\],\[216\],\[220\]、位置\[122\],\[137\]、时间\[180\]等；物理如局部刚性/旋转相似/长时等距\[130\],\[132\],\[167\],\[174\],\[179\],\[181\],\[191\],\[232\],\[142\],\[176\],\[180\]。 * 全局物理：深度-法线一致\[32\],\[187\],\[192\],\[193\]；法线自监督\[186\],\[32\],\[187\],\[188\]或模型估计\[192\]；深度扭曲\[18\]、模型估计\[33\],\[56\],\[58\],\[240\]；SDF理想分布\[90\],\[185\],\[186\],\[187\],\[188\]。 #### 2) 2D正则 * SDS\[95\],\[196\],\[100\],\[102\]：间隔匹配\[100\]防随机/单步；负提示\[92\],\[100\],\[243\]替噪声；LODS\[102\]用LoRA\[245\]。 * 流\[132\],\[146\],\[176\],\[178\],\[175\]：渲染位移监督，选正确深度+KL不确定。 * 其他：频域差异\[25\]防过拟；伪视图\[56\]稀疏；属性变化\[246\]大场景防遗忘；捆绑调整\[149\],\[150\],\[159\]姿势。 选择\[151\],\[158\],\[160\],\[162\]可见性导优化。 图4描述：分类个体/局部/全局3D，SDS/流/其他2D。 分析：正则如"绳索"，3D直观约束几何，2D补欠定。跨任务共用，如物理正则动态/表面。未来：任务导向多约束集成。 ### E. Training Strategy 核心观点：分多阶段/端到端，提升效/稳。 #### 1) 多阶段 * 表示转换：3DGS→Mesh\[95\],\[110\],\[119\],\[131\],\[197\],\[243\]一致几何；生成多视图\[104\],\[118\],\[138\],\[199\],\[200\],\[201\],\[243\]补数据。 * 静-动\[171\],\[172\],\[173\],\[174\],\[178\],\[203\]；逐帧增量\[167\],\[168\]。 * 粗-细\[149\],\[161\]相机跟踪。 * 精炼\[50\],\[63\],\[96\],\[101\],\[112\],\[205\],\[216\],\[232\]或加能力\[162\],\[217\],\[208\]；迭代\[60\],\[201\]。 #### 2) 端到端 * 渐进\[8\],\[34\],\[150\],\[41\],\[148\],\[25\],\[231\],\[119\],\[127\]：增高频/大小/相机距。 * 块\[152\],\[161\],\[162\],\[247\],\[101\],\[221\],\[196\],\[239\],\[144-146\],\[172\],\[68\]：分空间/时间/代，防遗忘/不均。 * 鲁棒\[47\],\[63\],\[110\],\[171\],\[152\],\[154\]：噪声扰动防过拟。 * 蒸馏\[13\]：低维SH学生模型用伪视图。 分析：策略如"路线图"，多阶段强性能但慢，端到端高效。未来：优多阶段速，提升端到端准。 ### F. Adaptive Control 核心观点：调节高斯数，密化/剪枝。 #### 1) 密化 * 位置：不透明/轮廓/深度误差\[24\],\[149\],\[162\],\[182\],\[192\],\[246\]；梯度加权\[249\]；SDF/运动/邻距\[96\],\[176\],\[185\],\[188\]。 * 方式：图结构边中心\[56\]；候选池\[113\]；保守\[250\]积分张量。 * 防过：GDS/KL\[118\],\[68\]；退火\[38\]；有时弃\[148\],\[149\],\[151\],\[234\]。 #### 2) 剪枝 * 重要分：体积/命中/不透明\[13\],\[251\],\[252\]。 * 多视图一致\[234\],\[160\]。 * 距离\[149\],\[188\],\[176\],\[68\]。 * 可学mask\[12\]。 * 不匹配\[62\]。 分析：控制如"修剪"，平衡细节/效。过/欠均害，未来：智能阈值。 ## VII. OTHER TECHNICAL DISCUSSIONS 这一节补充了前文模块化分析，聚焦于训练后的处理、与其他3D表示的融合，以及引入外部知识来增强3DGS的鲁棒性。动机在于3DGS并非孤岛，它需要后处理来输出多样格式（如Mesh用于编辑），整合其他表示来弥补显式高斯的短板（如几何不精确），并借助先验来解决欠定问题（如稀疏数据下的空间理解）。背景：vanilla 3DGS高效但局限，后处理像"包装工序"，整合像"组装线"，先验像"外部顾问"。这些讨论揭示了3DGS的生态扩展，帮助研究者构建端到端系统。 分析：为什么重要？它桥接了基础优化与实际应用，比如后处理能让3DGS输出兼容传统工具的Mesh，与Triplane整合提升泛化。与前作综述不同，本文强调这些技术的共性复用------如在动态场景中，Triplane先验能稳定时空一致。结合2025年12月进展，如NVIDIA的NuRec APIs将3DGS用于物理模拟，这些讨论更显前瞻，帮助你预见标准化趋势。 ### A. Post-Processing 核心观点：训练后对3DGS进行转换或优化，提升输出多样性和性能。动机：3DGS的显式高斯适合渲染，但不直接兼容下游任务如编辑或模拟，后处理提供桥梁。背景：vanilla 3DGS渲染后可能有伪影，后处理像"抛光"步骤，常见于表面重建或效率优化。 关键方法： * 表示转换\[185\],\[192\],\[193\],\[110\],\[243\],\[253\]：从3DGS提取Mesh，如SuGaR\[185\]用Poisson重建采样点云的表面；GOF\[193\]射线归一化后转四面体网格，用于精确几何。创新：Poisson\[253\]确保水密Mesh，解决3DGS的浮点问题。 * 性能提升\[30\],\[21\],\[255\]：2D滤波\[30\]防锯齿；离线移除冗余高斯\[21\]；缓存\[255\]加速重复渲染。 分析：后处理为什么重要？它让3DGS从"渲染器"变"多面手"，如Mesh转换比vanilla强在兼容Blender等工具，但计算开销大。与前作NeRF比，3DGS易转换因显式性。解决：伪影和兼容性。2025进展：SIGGRAPH Asia挑战焦点后处理标准化，提升实时应用。 ### B. Integration With Other Representations 核心观点：3DGS结合点云、Mesh、Triplane、Grid、隐式表示，互补优势。动机：单一表示限场景，如3DGS高效但几何模糊，整合提升全面性。背景：3D表示生态多样，整合像"混合动力车"，常见于泛化或动态任务。 关键方法： * 点云\[126\],\[127\],\[114\],\[162\],\[14\],\[34\],\[188\]：用深度估计初始化点云\[126\],\[127\]，补高斯孔洞；转点云导导航\[162\]。创新：Scaffold-GS\[14\]锚点+点云网格生长，解决稀疏初始化。 * Mesh\[170\],\[70\],\[95\],\[131\],\[197\],\[233\],\[243\]：几何优化\[170\]用Mesh监督3DGS变形；联合优化\[233\]大变形场景。创新：DreamGaussian\[95\]从3DGS提Mesh精纹理，解决外观不一致。 * Triplane\[49\],\[50\],\[66\],\[109\],\[137\],\[173\],\[176\],\[203\]：泛化查询Triplane特征预测高斯属性\[49\],\[50\]；4D扩展HexPlane\[137\],\[173\]时空连续。创新：HUGS\[66\]用Triplane初始化人体，解决姿势变形。 * Grid\[12\],\[17\],\[69\],\[113\],\[115\],\[148\],\[208\],\[222\],\[16\]：哈希网格\[12\],\[17\]压缩存储；自组织地图\[16\]2D网格保局部结构。创新：HAC\[17\]结构哈希网格缓解无结构压缩限。 * 隐式\[43\],\[187\],\[188\],\[256\]：NeRF\[256\]编码色/不透明减表面伪影；SDF互监督\[187\],\[188\]表面精炼。创新：Splatter Image\[43\]隐式到高斯转换，解决泛化。 图表描述：无特定图，但参考Fig.2 pipeline，整合常在初始化/渲染阶段。 分析：整合为什么重要？它补3DGS短板，如Mesh准几何比纯高斯强，但增复杂。跨任务通用，如Triplane在AIGC\[109\]提升一致。与NeRF比，3DGS易融合因可微。解决：表示限。2025进展：NeurIPS交换2D/3DGS解决不一致；ISPRS真实世界整合。 ### C. Guidance by Additional Prior 核心观点：引入预训模型、多传感器、任务特定先验，提升3DGS在弱监督下的性能。动机：3DGS依赖数据，先验提供"捷径"，如SMPL人体姿势。背景：欠定问题常见，先验像"知识库"，广泛用于人体/AIGC/自动驾驶。 关键方法： * 预训模型\[55-57\],\[61\],\[126\],\[127\],\[60\],\[104\],\[138\],\[199\],\[200\],\[201\],\[243\],\[119\],\[123\],\[261\]：扩散模型\[55-57\],\[60\],\[104\],\[138\],\[199\],\[200\],\[201\],\[243\]生成伪视图/编辑；深度估计\[61\],\[126\],\[127\]初始化；ControlNet\[202\]几何导\[199\],\[200\],\[201\]；LLM\[123\],\[261\]布局/提示。创新：LucidDreamer\[100\]用预训SDS防过平，解决生成不稳。 * 更多传感器\[152\],\[154\],\[159\],\[160\],\[246\],\[86-88\],\[48\],\[144\],\[147\],\[148\],\[161\],\[57\]：深度\[152\],\[154\],\[159\],\[160\],\[246\]补空间；音频\[86-88\]头同步；LiDAR\[48\],\[144\],\[147\],\[148\],\[161\]稠密点云；不确定性\[57\]稳融合。创新：Gaussian-SLAM\[16\] LiDAR+RGB融合，解决噪声。 * 任务先验\[73\],\[74\],\[257\],\[258\],\[70\],\[71\],\[92\],\[236\],\[142\],\[80\],\[259\],\[81\],\[181\],\[146\],\[258\]：SMPL/SMPL-X\[73\],\[74\],\[236\],\[142\]人体变形；动物SMAL\[257\]；Shell Maps\[258\]衣；FLAME\[80\],\[259\],\[81\]头；LBS\[70\],\[71\],\[92\]线性蒙皮；RBF\[181\]径向基；车辆Unicycle\[146\],\[258\]。创新：GauHuman\[68\] SMPL+MLP捕衣/发，解决外出特征。 分析：先验为什么重要？它解数据饥饿，如SMPL比无先验强在姿势准，但限泛化。跨任务复用，如LiDAR在SLAM/AIGC。解决：空间理解弱。与前作比，3DGS易整合因显式。2025进展：Frontiers AI人体先验综述；NVIDIA物理AI先验，如"3D JPEG"标准化。 ## VIII. CHALLENGES AND OPPORTUNITIES 这一节是论文的亮点之一，它从前文的任务和技术分析中提炼出跨领域共性，总结了四个核心挑战：次优数据（Suboptimal Data）、泛化（Generalization）、物理重建与渲染（Physics Reconstruction and Rendering）、真实性与效率（Realness and Efficiency）。动机在于揭示为什么不同任务（如稀疏视图重建和动态场景）会采用类似技术------因为它们面对相同瓶颈。背景：3DGS虽强大，但实际应用中数据不足、计算开销等问题普遍存在。 分析：这个节为什么重要？它超越单纯分类，强调互借：比如SLAM中的正则化能解决AIGC的稳定性问题。与前作综述\[2\],\[3\],\[4\]相比，本文更注重"底层逻辑"，提供可操作机会，帮助你从"被动跟进"转为"主动创新"。想象3DGS如一辆赛车，这些挑战是路障，机会则是加速器。 ### A. Interrelationships 核心观点：不同任务间存在技术交叉和挑战共性，如表面重建技术常参考编辑任务。动机：避免孤立讨论，促进跨领域借鉴。背景：前文任务看似分散，但底层如次优数据影响多个领域。  表格V解读：表格将挑战分类，第一列核心挑战，第二列相关下游任务，第三列主要技术改进。关键示例： * 次优数据：任务如稀疏视图\[III-D\]、自动驾驶重建\[IV-C-1\]、动态3DGS\[V-A\]；技术如初始化\[VI-A\]、正则\[VI-D\]、自适应控制\[VI-F\]。含义：稀疏输入下，初始化能提供先验，正则确保一致。 * 泛化：任务如可泛化3DGS\[III-C\]、人体/AIGC泛化；技术如初始化\[VI-A\]、与其他表示整合\[VII-B\]。含义：前馈网络难自适应，整合Triplane等提升。 * 物理：任务如动态3DGS\[V-A\]、模拟\[V-F\]；技术如属性扩展\[VI-B\]、正则\[VI-D\]、额外先验\[VII-C\]。含义：加速度/材料属性桥接模拟渲染。 * 真实性/效率：任务如光真度\[III-B\]、表面\[V-B\]；技术如属性扩展\[VI-B\]、后处理\[VII-A\]。含义：VQ压缩平衡存储/性能。 分析：表格像"关系网"，无具体数值但分类清晰，显示次优数据影响最多任务（6+），说明数据是瓶颈。优势：指导互借，如用动态任务的物理正则提升光真度。为什么重要？它让研究者见树见林，避免重复发明轮子。 ### B. Suboptimal Data 核心观点：现实中高质大数据难采集，仅靠限量2D图像监督不足以精确重建3DGS，如单视图推断背面。动机：解决实际部署痛点，如野外图像的瞬态遮挡/动态外观变化（天空、天气、光照）。背景：类似NeRF\[262-264\]，但3DGS显式性更易受噪声影响。 挑战：数据限量（稀疏视图、多模态不足）；低质（模糊姿势、清晰度低），导致训练不稳。 机会： * 减高斯数+增强单原语\[15\]：用广义指数族（GEF）替换标准高斯，提升表示力，权衡数量/渲染性能。 * 解耦几何+跨场景一致约束\[265\],\[266\]：建模外观变化、处理瞬态对象，如\[265\]用SWAG处理野外瞬态，\[266\]用Gaussian in the Wild解耦动态。 方法引用：\[262\] NeRF in the Wild处理野外，\[263\] Hallucinated NeRF，\[264\] Cross-ray NeRF。创新：\[265\] Splatting in the Wild Images with Appearance-conditioned Gaussians（SWAG），针对瞬态/动态；\[266\] Gaussian in the Wild建模变化。解决：不稳训练，但复杂光照/频繁遮挡仍难。 分析：次优数据如"燃料短缺"，机会像"高效引擎"------减高斯比vanilla强在稀疏适应，但需防性能降。重要性：实际场景多野外，跨场景一致比逐场景训实用。结合2025进展，如 ISPRS Annals的Real-World Scenarios方法，强调鲁棒重建。 ### C. Generalization 核心观点：尽管训效高于NeRF，但逐场景训限多目标/场景重建。动机：实现即插即用，如从稀疏图像直接推3D资产。背景：现有泛化工作\[43\],\[45\],\[49\],\[109\]性能差，受场景类型限。 挑战：前馈网难自适应控制\[44\]；依赖准姿势，实际难获\[261\],\[268\]。 机会： * 参考特征导前馈自适应：预测需控制位置，插件式集成现有工作。 * 无姿势泛化\[255\]：讨论姿势缺失下3DGS，如GGRt实时无姿势泛化。 方法引用：\[43\] Splatter Image，\[45\] MVSplat，\[49\] Triplane+3DGS，\[109\] BrightDreamer。创新：\[255\] GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time。解决：合成范围限，但姿势缺失仍挑战。 分析：泛化如"通用钥匙"，挑战是"锁太专"，机会强在前馈控制比逐训快。与vanilla比，插件式易扩展。重要性：多场景应用如自动驾驶需此。2025进展： SIGGRAPH Asia 2025挑战探索高效重建，GSRace强调泛化。 ### D. Physics Reconstruction and Rendering 核心观点：传统3DGS仅静态渲染，忽略物理运动规律，限模拟应用\[227\]。物理渲染是真实模拟关键。动机：统一模拟/渲染，如动画需遵守物理。背景：刚性正则\[VI-D-1\]存，但忽略原语物理属性\[V-A\]。 挑战：运动不符物理（如无速度/力）；渲染忽略材料/光照编辑。 机会： * 加物理属性\[175\],\[227\]：速度\[175\]、材料\[211\]、加速度/力分布，用模拟工具/物理知识正则。 * 解耦几何/外观\[90\],\[211\],\[269\]：从法线重建/光照/材料建模，如\[90\] Gaussian Shadow Casting，\[211\] GS-IR逆渲染，\[269\] Relightable Gaussian Codec Avatars。 方法引用：\[175\] Motion-aware 3DGS瞬态，\[227\] PhysGaussian整合MPM\[228\]。创新：\[269\] Relightable Gaussian Codec Avatars BRDF分解。解决：不充分描述运动，但潜力大。 分析：物理如"现实锚"，挑战是"脱离地心引力"，机会桥接模拟/渲染比vanilla真实。与前作比，加属性灵活。重要性：VR/机器人需此。2025进展： NVIDIA NuRec APIs物理模拟，更新综述强调物理机会。 ### E. Realness and Efficiency 核心观点：真实性/效率是基础问题，前文\[III\]讨论，此处聚焦下游优化。动机：提升渲染清晰/压缩存储。背景：表面重建\[V-B\]用平面高斯，但表示力降/训不稳。 挑战：表面不清影响渲染；存储大是瓶颈\[III-A-1\]。 机会： * 适表面高斯+多阶段训+正则：设计更好平面原语，平衡表示/性能。 * 高效表示\[14\],\[15\]：Scaffold-GS\[14\]锚点，GES\[15\]指数族，维持性能压缩。 方法引用：\[14\] Scaffold-GS，\[15\] Generalized Exponential Splatting。创新：VQ/SH压缩，但影响性能，高效表示避此。解决：性能降，但潜力高。 分析：真实性/效率如"鱼与熊掌"，机会是"优化配方"。比vanilla强在平衡，与NeRF比3DGS易压缩。重要性：实际部署需高效真实。2025进展： 3DVista Update支持3DGS模型 Neurocomputing综述扩展， Frontiers AI人体重建整合物理/效率。