[23] 4K4D: Real-Time 4D View Synthesis at 4K Resolution

paper | proj | code

  • 提出一种基于K-Planes的4D point cloud Representation;
  • 提出一种Hybrid appearance model,包含image blending model和SH model。其中,image blending model将3D点映射回原图中求得,SH model通过模型预测求得。
  • 提出一种可导的深度排序算法,训练时通过Pytorch计算,渲染时通过OpenGL计算,实现GPU支持的快速光栅化。
  • 提出一系列减少推理渲染的方法:
    • 提前计算点的位置、密度、颜色系数和blending系数等;
    • 减少光栅化每个像素所需要的点数;
    • 将模型从32-bit float降为16-bit

目录

摘要

方法

[Modeling Dynamic Scenes with Point Clouds](#Modeling Dynamic Scenes with Point Clouds)

[Differentiable Depth Peeling](#Differentiable Depth Peeling)

Training

Inference

实验

[Datasets and metrics](#Datasets and metrics)

[Comparison Experiments](#Comparison Experiments)

[Ablation Studies](#Ablation Studies)

[Storage analysis.](#Storage analysis.)

[Rendering Speed Analysis](#Rendering Speed Analysis)


摘要

  • 现有问题:动态场景中,渲染高分辨率图片很慢;
  • 本文:
    • 提出基于K-Planes的4D point cloud Representation,支持硬件光栅化,实现快速渲染;
    • 提出一种hybrid appearance model,在提高渲染质量的同时,保证渲染效率;
    • 设计一种可导的深度排序算法(deep peeling algorithm),实现从RGB视频中快速建模;
  • 实验证明,在一张4090 GPU上,可以实现对1080分辨率的400FPS渲染,4K分辨率的80FPS渲染。

方法

Modeling Dynamic Scenes with Point Clouds

  • 通过space-carving algorithm从视频中提取粗点云序列;
  • 点特征通过K-Planes表达,给定坐标和时间,可得特征:
  • 点特征送入Radius MLP和Density MLP,预测该点的密度和半径;
  • 该点的颜色通过两个模型计算,分别是离散的image blending model和连续的SH model。
    • image blending model是指,给定空间中任意一点,可投影到输入图片上,检索对应RGB值。在本文中,多张图片检索的RGB值,通过网络预测加权系数,加权求和以得到该点的。由于检索图像与视角无关,本文仅考虑与视角最近的张图片。image blending model除系数外,可以提前计算。因此,可以在提高视觉质量的同时,不增加过多计算。
    • SH model,则是将点特征送入SH MLP,预测得到。
    • 最终,该点颜色由以下公式计算:

Differentiable Depth Peeling

  • 对于像素,首先找到距离该点相机视角最近的个点。
  • 用体渲染的方式,通过个点计算该点颜色。首先计算密度,其中是将点投影到2D图像上:
  • 在训练中,本文基于PyTorch实现。在推理阶段,本文用OpenGL计算。
  • 最终,该像素点颜色:

Training

包含三个损失:

  • MSE Loss:
  • LPIPS Loss
  • Mask 损失:
  • 最终训练损失为:

Inference

通过三个方法加速推理:

  • 提前计算点位置,半径,密度,SH系数和color blending系数;
  • 将模型从32-bit floats转为16-bits,可以增加20FPS;
  • 将渲染时的超参数K从15降低为12,可以在不影响视觉质量的情况下,增加20FPS;

实验

Datasets and metrics

  • DNA-Rendering:15 FPS, 10 s, 60 views, 4K/2K相机,训练分辨率为1024 x 1224 / 1125 x 1536
  • ENeRF-Outdoor:30 FPS, 1080p相机,训练分辨率为960 x 540
  • NHR:训练分辨率为512 x 612 / 384 x 512
  • Neural3DV:训练分辨率为1352 x 1224

Comparison Experiments

Ablation Studies

  • Ablation study on the 4D embedding. w/o f
  • Ablation study on the hybrid appearance model. w/.o
  • Ablation study on loss functions.

Storage analysis.

Rendering Speed Analysis

相关推荐
玄魂5 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何5 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师5 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术5 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记5 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
火山引擎开发者社区5 小时前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络5 小时前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye5 小时前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
weixin_469163696 小时前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融
框架那些事儿6 小时前
深入 Pi 源码:一个优秀的 Agent,是如何管理上下文的?
人工智能·ai编程·全栈