7月13日,商汤科技正式发布并全面开源日日新 SenseNova-Vision 理解生成统一视觉大模型,这是商汤日日新大模型体系的重要视觉能力升级。

该模型将计算机视觉任务统一建模为多模态生成问题,首次在单一共享表征空间内原生覆盖结构化视觉理解、稠密几何预测、图像分割与多视角3D几何等经典视觉任务,并以单模型在多项权威评测中比肩甚至超越专用专家模型。
打破一任务一模型的结构性瓶颈
长期以来,视觉AI沿着一个任务对应一个模型的路径演进,各任务彼此割裂。行业以往的统一视觉多是把检测、分割、深度预测等多个专家模型打包封装,本质仍是割裂的。
SenseNova-Vision彻底打破了这一结构性瓶颈,将全部视觉任务统一表述为通用基础模型可理解的多模态生成问题,在统一多模态模型(UMM)原生的文本与图像生成空间中完成建模。

具体而言,模型通过自然语言指令与可选视觉提示指定任务、目标区域或视角、输出结构和解码规则,并以原生文本、图像或图文混合生成进行输出。
文本生成用于表达类别、边界框、点、OCR字符串、关键点、相机参数等符号化视觉内容;图像生成用于表达分割mask、深度图、表面法线、多视角点图等稠密空间信息;图文混合响应则支持同时包含符号输出与稠密输出的组合式任务。
整个模型不需要视觉任务专属预测头、解码器或额外架构分支。
这种原生融入带来了双向增益。
商汤视觉领域几十年的高质量数据,直接提升了大模型底座的视觉理解能力;大语言模型的推理能力反过来让视觉任务融会贯通,甚至能用语言直接定义新视觉任务。
单模型比肩专用专家
视觉任务融入通用多模态生成后,不仅没有削弱专项能力,反而通过跨任务知识互补实现了性能飞跃。

在多项权威评测中,SenseNova-Vision以单模型在四大核心视觉领域大范围领跑:
结构化视觉理解。在目标检测、指代检测(Referring)、OCR、关键点定位等任务上全面领先同类型通用模型,在稠密小目标检测、长尾类别识别等复杂场景下表现尤为突出。

稠密几何预测。深度估计、表面法向(Surface Normal)估计精度达到几何专用模型水准,在室内外多场景下均保持极高稳定性。

分割能力。涵盖通用分割、推理分割、交互式分割等,得益于强大的多模态理解力,其在推理分割(Reasoning Segmentation)与对话式分割(GCG Segmentation)上表现惊艳。

多视角3D几何。仅通过单模型即可高质量完成多视角点云重建与相机位姿估计,性能在通用视觉路线中处于领先位置。


复杂场景也能"读懂"物理世界
传统视觉模型往往只能各司其职,遇到复杂、有干扰的场景就会抓瞎。得益于原生通用底座带来的智能涌现,SenseNova-Vision在人类视觉都容易犯错的极端场景中展现出惊人的泛化能力。
零样本泛化。 面对训练集中从未出现过的游戏画面,模型无需任何针对性重训,即可在一瞬间同时完成表面法向、实例分割以及角色关键点检测的无缝精细化处理。
以《黑神话:悟空》场景图为例,模型对法向、分割、关键点等均给出较好结果,影视、游戏和数字内容创作者可直接将其投入工作流。

超稠密物体分割。 面对密密麻麻、高度重叠的鱼群、羊群,或货架商品、俯拍车辆等极度稠密场景,模型能够像外科手术般精准地将每个独立个体剥离出来,即使颜色极度相近、边缘深度交织,也能准确区分,为工业计数、智慧仓储等场景提供全新解法。

看穿镜面反射。 在包含镜子、玻璃的复杂室内环境中,传统视觉模型极易被镜中倒影误导。SenseNova-Vision能够自动过滤反射影像的迷局,准确估计镜中物体的真实空间方向与深度关系,展现出对三维空间几何本质的深刻理解。

突破视觉错觉。 在充斥视觉错觉干扰的图像中(如经典借位摄影),模型不仅能准确抠出被遮挡物体的完整轮廓,还能输出完全正确的表面法向估计。


对透视成像近大远小现象领悟透彻,前景棉花人物与后景云朵成功分离,完全没有被误导。
这正是语言模型推理能力与稠密几何预测完美融合、看懂物理世界的具象体现。
从执行工具到世界理解模型
大一统设计带来两重颠覆性变化。
一是跨任务知识互补,实现1+1>2。深度估计的知识能强化语义分割的空间理解,分割能力又能辅助检测任务的边界判断,从而获得单任务模型难以企及的抽象推理能力。
二是从工具执行者升级为通用理解者。模型不再是只能执行特定指令的工具,而是作为大模型的原生能力,成长为对视觉世界拥有通用、深刻认知的基础多模态底座。
SenseNova-Vision在结构化视觉理解、稠密几何预测、分割和多视角视觉几何等任务上,各基准评估结果处于领先地位。




通用视觉模型比较,SenseNova-Vision展现出显著优势。

对比语义导向模型(如Youtu-VL等),SenseNova-Vision在检测、分割、深度等对细节要求极高的视觉任务上实现全面领先。对比生成导向模型(如Vision Banana等),SenseNova-Vision展现出全面的代际优势,在绝大多数指标上均实现对Vision Banana的超越与领跑。而且,SenseNova-Vision任务能力倍增,展现出更强的多任务泛化实力。
SenseNova-Vision在适配视觉感知任务的同时,仍保留了很强的通用多模态能力。

为支撑大规模训练,商汤将各类计算机视觉任务标注转换为指令-回答样本,构建了覆盖可解码文本、图像以及图文混合目标的SenseNova-Vision Corpus。
模型从现成的预训练UMM出发,主要基于该语料进行训练,同时引入辅助多模态数据以保持通用理解与生成能力。
商汤同步开源了包含5000万条高质量样本的视觉指令语料库 SenseNova-Vision Corpus-50M,为全球AI生态注入强劲动力。
在视觉AI领域,商汤已连续十年蝉联中国视觉AI市场份额第一,并在2025年首次登顶视频分析赛道全球市场份额第一及亚太地区市场份额第一。SenseNova-Vision将这种行业领先的视觉能力,融入统一多模态大模型体系。
统一范式显著降低了视觉AI的应用门槛,开发者无需再为不同任务维护多套模型体系,单个模型即可覆盖高频视觉需求,大幅缩短研发周期、降低部署成本,尤其适合复杂图像、开放场景下的视觉应用开发。