字节跳动Seed3D 2.0:MoE架构驱动,几何与纹理生成双双达到SOTA水平

字节跳动的3D生成模型更新了:几何和纹理都做到了行业最优

4月23日,字节跳动Seed团队发布了Seed3D 2.0。这是一个专门做3D内容生成的大模型,核心目标:让生成的3D内容真正"生产可用"------不只是看起来不错,而是精度高到可以直接用在游戏、影视、工业设计等实际生产流程里。

在和市场上主流3D生成模型的对比评测中,Seed3D 2.0在几何生成和纹理材质生成两项核心指标上均取得了SOTA结果。

一、模型架构:MoE + 稀疏专家路由

Seed3D 2.0采用MoE架构,并引入了稀疏专家路由机制。

这个架构解决了一个核心矛盾:3D内容精度越高,需要的参数量和分辨率越大;但参数量越大,推理计算量越高,速度越慢,成本越贵。

稀疏专家路由的解法:模型内部有多个专家模块,每次推理只激活与当前任务最相关的专家。这样在扩大参数量和分辨率的同时,把实际推理计算量控制在合理范围内。结果是能生成更丰富的纹理细节和更精确的金属-粗糙度边界。

此外,Seed3D 2.0在VAE(变分自编码器)侧做了同步升级:更少token即可获得更高重建精度,计算效率进一步提升。

二、核心技术三项

(1)Coarse-to-Fine 两阶段生成策略

第一阶段(粗生成):先生成整体结构,确定3D对象的大致形状、比例和空间关系。

第二阶段(细化):在整体结构基础上精细化几何细节------锐利边缘、薄壁结构、复杂拓扑等难点都在这阶段处理。

两阶段策略的关键价值:将整体结构与几何细节解耦。以前3D生成模型在整体和细节之间顾此失彼,两阶段让这两个目标可以分别优化。

(2)统一PBR生成机制

PBR(Physically Based Rendering)是现代游戏和影视的标准材质系统,通过模拟光线与材质的物理交互生成真实感材质。

Seed3D 2.0整合了统一的PBR生成机制,专门针对"金属-粗糙度边界不精确"这个问题做了优化,提升了材质细节和边界精度。

(3)VLM先验技术

VLM(视觉语言模型)先验技术,解决的是未知光照条件下的材质分解问题。

输入3D生成模型的图像往往在特定光照下拍摄,模型需要"分解"出材质本身属性(去掉光照影响)才能生成正确PBR材质。光照条件未知时这个分解很困难。VLM先验通过引入视觉语言模型的语义理解能力,帮助模型在不确定光照条件下做出更稳定的材质分解。

三、盲评数据

评测维度评审规模对比模型数结果几何结构生成60位专业3D建模评审6个主流模型明显领先,偏好率最高纹理材质生成60位专业3D建模评审6个主流模型偏好率高达69%以上

盲评中,评审人员不知道哪个结果来自哪个模型,只根据质量做偏好判断。69%偏好率意味着什么? 7个模型随机对比,每模型理论偏好率约14%。Seed3D 2.0达到69%,说明在专业评审眼中它的纹理质量远超其他模型平均水准。

四、扩展能力

除了核心几何和纹理生成,Seed3D 2.0还具备三项扩展能力:

部件级分割与补全:识别3D对象不同部件(如椅子椅腿、椅背、坐垫),对缺失部件补全

铰接资产生成:支持生成带关节结构的3D资产(机械臂、可开合的门),这类资产在游戏和工业仿真中需求大

场景组合生成:基于图像、视频或文本输入,生成包含多个对象的完整3D场景

获取方式 :API已上线火山引擎,技术报告已公开。

文章来源:AITOP100

原文链接:https://www.aitop100.cn/seed3d-2.0

相关推荐
wangruofeng4 小时前
AI 画架构图总差点意思,archify 给它加了一条验收流水线
架构·github·aigc
LadiesAndGentlemen4 小时前
开源地理空间智能项目中的本体思想 4-4:收尾篇——五种做法怎么选,治理之后还剩什么活
人工智能·语言模型·开源·aigc·知识图谱
林澈在路上6 小时前
AI翻唱软件哪个好 2026国产AI写歌工具对比推荐
大数据·人工智能·深度学习·github·aigc·音视频·音频
全栈弄潮儿10 小时前
AI 生成的代码为什么会“看着对,其实错”
aigc·openai·ai编程
AI创界者12 小时前
【开源硬核】comfyUI MiniMax H3 融合模型本地部署一键整合包!单卡撬动 2K 影音全模态输出,附避坑指南
人工智能·aigc
AI智图坊12 小时前
甩手图省事的技术原理:如何用“商品锁定”机制解决AI作图的一致性难题
大数据·人工智能·计算机视觉·ai作画·aigc·ai写作
Rolei_zl13 小时前
AIGC(生成式AI)试用 57 -- 向量数据库
aigc·向量数据库
Csvn17 小时前
第 9 章 记忆系统
人工智能·aigc·agent
leeyi17 小时前
ACP 协议 + devops 可视化:Agent 与编辑器的两条桥(第99篇-E85)
aigc·agent·devops