【上篇】SenseNova-U1:基于NEO-unify架构统一多模态理解与生成

📣 更新动态

✨ 点击展开历史动态

🌟 概述

🚀 SenseNova U1 是新一代原生多模态统一模型系列,在单一架构中实现多模态理解、推理与生成。

它标志着多模态AI的根本范式转变:从模态融合到真正统一。不同于依赖适配器转换模态,SenseNova U1模型原生实现语言与视觉的思维-行动统一。

端到端的像素到语言统一架构,为视觉理解与生成开辟了巨大可能性,支持高效强大的原生多模态理解、生成及交叉推理能力。

🏗️ 核心支柱:

SenseNova U1的核心是**NEO-unify**,这是一种基于多模态AI第一性原理设计的新型架构:它消除了视觉编码器(VE)和变分自编码器(VAE),其中像素和单词信息本质上是深度关联的。 以下是几个重要特性:

  • 🔗 将语言和视觉信息端到端建模为一个统一的复合体。
  • 🖼️ 在保持像素级视觉保真度的同时保留语义丰富性。
  • 🧠 通过原生多模态思维(MoT)高效且最小冲突地进行跨模态推理。

基于这一全新核心架构,SenseNova U1-8B-MoT-信息图(SenseNova U1-8B-MoT的信息图特别增强版)提供了卓越的效率和最先进的信息图性能:

生成延迟与信息图基准测试(BizGenEval、IGenBench)的平均性能对比

通用基准测试中的生成延迟与平均性能对比(OneIG、LongText、CVTG)。

  • 基准性能表现 :相较于基础模型 SenseNova-U1-8B-MoT ,BizGenEval 困难/简单任务得分从 39.8 / 61.1 提升至 46.6 / 65.4+6.8 / +4.3分 ),IGenBench 问答准确率/图像理解准确率从 51.3 / 4.2 跃升至 69.5 / 17.0+18.2 / +12.8分),同时保持稳健的视觉理解能力未出现显著退化。
  • 生成质量:该模型可生成涵盖100余种风格与版式的复杂信息图,具有更优的视觉美学表现与文本渲染能力------包括arXiv式页面等密集小字号文本内容。
模型 BizGenEval 平均分 (困难/简单) ↑ IGenBench 问答准确率↑ IGenBench 图像理解↑ OneIG(英文) ↑ OneIG(中文) ↑
商业模型
Nano-Banana-Pro 76.7 / 93.7 90.6 48.8 58.1 56.8
Nano-Banana-2.0 68.5 / 92.5 85.6 34.4 54.0 54.9
GPT-Image-1.5 35.9 / 81.6 55.0 12.0 - -
Qwen-Image-2.0 45.5 / 65.8 50.0 3.0 54.1 50.9
Seedream-4.5 30.1 / 66.2 61.0 6.0 56.4 55.0
开源模型
SenseNova-U1-8B-MoT-信息图 46.6 / 65.4 69.5 17.0 55.6 53.3
SenseNova-U1-8B-MoT 39.8 / 61.1 51.3 4.2 54.5 53.8
Z-Image 8.2 / 43.8 30.0 1.0 54.6 53.5
Qwen-Image-2512 6.3 / 41.0 32.2 1.0 53.0 51.5
Qwen-Image 2.8 / 23.8 36.0 0.0 53.9 54.8
Bagel 2.0 / 3.7 4.9 0.0 36.1 37.0

~IGenBench分数以百分比形式呈现。商业模型与开源模型组分别按BizGenEval困难项、简单项、IGenBench问答准确率及图像理解准确率的算术平均值排序。OneIG作为通用生成能力参考指标。完整分类结果详见Hugging Face模型卡。~

  • 📰 高密度信息渲染(专项能力):该专项模型在密集视觉信息传达方面表现突出,可为知识图解、海报、演示文稿、漫画、简历等信息密集型载体生成结构丰富的版式。

  • 🏆 开源领域最先进技术:SenseNova U1为多模态统一理解与生成树立新标杆,在开源模型中实现信息图生成性能的突破性进展。

🎨 信息图展示集

📸 更多生成示例: 查看 ✨ 信息图展示集










相关推荐
程序员cxuan2 小时前
为每个任务配一套 harness:Claude Code 里的动态工作流
人工智能
程序员cxuan2 小时前
Claude Fable 5 来了
人工智能·后端·程序员
云边云科技_云网融合2 小时前
云边云科技亮相 2026 WOD 制造业数智化博览会 云网融合赋能制造焕新
人工智能·科技·安全·制造
Σίσυφος19002 小时前
激光三角 光平面标定-多高度误差分析
人工智能·计算机视觉·平面
JS菌2 小时前
手写一个 AI Agent 全栈项目:从沙箱执行到子智能体的完整实现
前端·人工智能·后端
lqqjuly3 小时前
前沿算法深度解析(二)
人工智能·算法·机器学习
Bode_20023 小时前
基于大数据分析的全生命周期质量追溯质量评估体系落地方案
大数据·人工智能
分布式存储与RustFS3 小时前
RustFS S3 Table 开源后,我重新梳理了一下 Iceberg 数据湖的选型思路
人工智能·开源·minio·dpu·rustfs·ai存储·s3 table
DevOpenClub4 小时前
用 Agent 搭建网页内容采集与结构化处理流水线
人工智能
56AI4 小时前
2026 企业级AI智能体开发平台推荐:聚焦底层安全与准确率的智能体平台
人工智能·安全·智能体