AI 3D生成技术:从“可用”走向“可靠”还有多远?

最近,AI圈子里的朋友们可能都感觉到了,大家聊天的焦点,好像正从文生图、写小说,慢慢转移到一个听起来更高大上的词:3D世界模型。

要说3D世界模型为什么现在这么火,其实原因很简单。一方面,像Sora这样的视频模型,让我们看到了AI模拟真实物理世界的能力,给了大家很大的想象空间;另一方面,无论是机器人还是自动驾驶,AI要想真正派上大用场,就不能只当个"识别工具",它得在"脑子"里有一个能模拟、能推演的3-D世界。可以说,应用需求到了,技术上也看到了苗头,它自然就火了。

那么,在现在这么火的情况下,到底哪些模型做得比较好,或者说最出圈呢?大家可能听过谷歌的Veo、国内的腾讯混元、一些专业的3D生成工具比如Tripo AI,也好奇像GPT、Claude 、Gemini这样的大模型在生成3D场景代码时表现如何。

GPT、Claude 、Gemini 3D场景效果对比

接下来,我们就抛开复杂的理论,直接带大家看一看,通过几个具体的测试案例,看下这些主流的3D生成技术和模型,到底实测效果怎么样。

1. 天坛运镜

细节拉满 vs 抽象几何

Prompt: 请生成一个HTML+Three.js的3D天坛祈年殿场景,包含蓝屋顶、红立柱、白台基等建筑特征。周围加入广场、草地、树木和天空,天坛前方有两个小孩在追赶奔跑。整体需具备动态效果(云朵移动、树木摆动、光影变化),支持鼠标拖拽和缩放,画面要求精致、干净、有沉浸感。

GPT、Claude 、Gemini 、豆包 3D天坛祈年殿

实测开箱 :在天坛这一主题下,GPT-6 As****tra的整体完成度较为精细,不管是内容表现度还是交互体验都比较完整。它的几何结构和透视关系相对复合物理规律,抓取模型时的阻尼感也比较顺畅。不过在背景装饰(比如天坛周围的树木)上,排布缺乏一些自然逻辑,还有优化的空间。

Claude Sonnet 5.5 的画面整体风格有逻辑,色彩清爽,但在主体物(天坛)的刻画上不够细致,有些过于弱化了中心建筑的塑造。

Gemini 4 Argon 对主体物的刻画明显更好一些,细节更丰富,但它弱化了对背景物体的描绘;且在鼠标抓取3D模型时会有阻碍,交互不如GPT-6顺畅。

至于豆包 2.1 Turbo,整体画面相对较弱,在复杂结构和场景交互上有明显的简化倾向,场景和人物简单。

2. 雨夜街角

有人造微缩手办,有人直接黑屏隐身

Prompt: 请以单文件HTML形式,制作一个雨夜日式便利店街角小场景。以第三视角观察,像一个微缩三维模型。画面风格为三渲二,强调日式二次元动画氛围。需包含持续降雨、地面积水反光、自动门、店内陈设(货架、饮料柜、收银台等),整体呈现小巧、精致、可收藏的模型感,无UI界面。

GPT、Claude 、Gemini 、豆包 雨夜日式便利店

实测开箱:这关考验的是微缩景观的渲染和细节密度。(注:这里测试的是纯3D代码生成模型,之前测试中出现的Gemini 3.8 Flash属于视频生成范畴,不计入此列)。

GPT-6.1、Gemini 4 Argon 和 Claude Sonnet 5.5 的画面整体完整度都比较好。但论画面细节和质感,GPT-6.1 更胜一筹。它把便利店内部的收银台、货架商品、甚至门口的自行车都刻画得比较细致,底座切面和雨丝轨迹也清晰。不过,它在颜色渲染上更偏向雨夜的灰蒙质感,整体偏灰;而Claude Sonnet 5.5 和 Gemini 4 Argon 的色彩显然更鲜艳,盲盒感更强。

相比之下,豆包 2**.1 Turbo**并没有很好地完成这个模型,画面不仅黑屏,细节也较为朦胧粗糙,基本属于全凭想象力脑补的状态。

3. 温馨豪宅

有人带你赛博看房,有人甩VR渲染图

Prompt: 请开发一个完整可运行的第一人称居家生活场景。日式原木风,包含客厅、餐厅、厨房、卫生间和花园。要求有真实的物理材质(PBR)、柔和动态阴影、水壶蒸汽、洗衣机旋转等动态效果。支持WASD行走和碰撞检测,门可以打开,灯光可以点击交互。

GPT-6.1、Marble 1.1 、腾讯混元 World

实测开箱 :尺度拉大后,底层逻辑的差异开始显现。GPT-6.1的整体完成度比较高,室内的卫生间、翻滚的洗衣机、烧水的水壶、甚至花园里的小狗,都严格按照Prompt要求做出了动态效果,交互体验比较流畅。

而 Marble 1.1 和 腾讯混元 World 2.1由于偏向静态3D模型展示,无法在动态交互上进行直接比对。单看画面塑造,混元的精细度相对更好;Marble虽然光影不错,但在一些墙壁和展示台的细节上塑造得有些糊,有一种"还没装修完"的粗糙感。

4. 特斯拉 FSD

降维打击,连车机UI都给你顺带写了

Prompt: 请用Three.js开发一个特斯拉Model Y自动驾驶可视化网页。要求车模完整,PBR材质。包含城市、高速、隧道、雨天等场景切换。模拟FSD环境感知可视化(车道线高亮、周围车辆3D感知框)。支持鼠标拖拽360°旋转、滚轮缩放,以及驾驶舱、鸟瞰等多种镜头切换。

GPT、Claude 、Gemini 、豆包 特斯拉Mode

实测开箱:特斯拉这个案例非常吃重动态交互和实时数据绑定(例如可切换白天/黄昏/夜晚、山路/高速/城市,并带有实时动态时速)。由于 Marble 和混元偏向图生3D/文生3D,输出的往往是3D高斯点云、碰撞网格等静态空间,里面没有角色也没有动态行为,因此很难直接做成带交互动效的3D模型。

在真正实现行驶场景的模型中,GPT-6.1 的塑造相对最好。它能真实根据特斯拉的汽车外形去建模,整体环境完成度高,鼠标抓取也很丝滑。Gemini 4 Argon 和 豆包 2.1 Lite 在汽车外观上的塑造就弱了很多,环境展示也比较粗糙,其中 Gemini 4 Argon 在抓取时无法顺畅展示全部角度,交互效果偏弱。Claude Sonnet 5.5 在这个场景中的整体完成度较弱,汽车外形不明朗,画面环境也不够清晰,还有很大的优化空间。

5. 实测看完了,业界怎么量化这些能力?

测完这些3D大模型,一个直观感受是:生成好看的画面,和能在里面自由交互,完全是两码事。

为了把这种凭直觉的感受量化,业界早有了专业基准。比如今年5月美团 LongCat 团队提出的 WBench(首个交互式视频世界模型多轮评测基准),刚好印证了我们的实测体感。它的核心发现包括:

  • 画质好不等于能交互:画质和导航控制的相关性较低。模型"知道"世界长什么样,但并不理解自己在哪。难怪豪宅渲染得再美,如果缺乏底层的交互逻辑,也只能当静态图看。

  • 多轮交互严重衰减:位姿误差不断累积,导航能力从第一轮到第四轮及以后,平均分下降了 33 点。

  • 视角切换成瓶颈:四大交互中难度很高,平均分仅为 30.7。

此外,它统一了文本、相机姿态等不同输入接口,实现了公平评测,自动评分与人类偏好的相关性达到 0.94 以上,是了解世界模型技术边界的好参考。

想跑分或查看硬核指标,可前往主页:

📄 Paper :huggingface.co/papers/2605.25874

🤗 **GitHub:**github.com/meituan-longcat/WBench

6. 总结

综合实测来看,代码造景在沉浸感和可玩性上处于领先位置,真正实现了让用户"走进去"并"操作它"。虽然各家模型在复杂长文本下依然有"黑屏"或"造出几何树"的翻车现象,但看到 GPT-6.1 交出的 FSD 和高精度豪宅,我们离"一句话生成一个可玩的 3D 世界"确实近了。

就像前文 WBench 数据所印证的,目前 AI 构建 3D 世界主要呈现两种倾向:一种是以 Marble、混元为代表的视觉环境生成,光影出彩但往往缺少底层交互;另一种则是以 GPT-6.1 为代表的代码逻辑构建,能通过代码搭出可漫游的完整场景。未来,这两条路大概率会走向融合。也许到那时,只需一个想法,AI 就能自动搭出一个完整且可交互的 3D 世界。虽然离那天还有段距离,但这波技术进步确实让人期待。

相关推荐
程序员cxuan10 分钟前
LobeHub 是真的夯,简直 Super-Agent 最佳实现。
人工智能·后端·程序员
QXWZ_IA16 分钟前
高楼遮挡RTK失锁:三层安全网怎么搭
人工智能·安全
sun8612207728 分钟前
Hy4 Preview 高效预览与协作应用指南
人工智能
码云之上43 分钟前
10 颗一模一样的「Edit」:中后台 Web Agent 怎么找到对的那一行
前端·人工智能·浏览器
阿里云大数据AI技术1 小时前
EMR Serverless Ray:让 AI 推理融入数据处理
人工智能·spark
TDengine (老段)1 小时前
TDengine IDMP 十大实用功能(9)
大数据·数据库·人工智能·物联网·时序数据库·tdengine·idmp
MobotStone1 小时前
毛选从哪篇开始读?
人工智能
QZ166560951591 小时前
政务泛监测体系能力排行:AI 重塑监测边界,治理的颗粒度革命
网络·人工智能·安全·网络安全·政务
模域ModelSphere2 小时前
长回复吐到一半断了,流式推理还能接着写吗?
人工智能