【上篇】SenseNova-U1:基于NEO-unify架构统一多模态理解与生成

📣 更新动态

✨ 点击展开历史动态

🌟 概述

🚀 SenseNova U1 是新一代原生多模态统一模型系列,在单一架构中实现多模态理解、推理与生成。

它标志着多模态AI的根本范式转变:从模态融合到真正统一。不同于依赖适配器转换模态,SenseNova U1模型原生实现语言与视觉的思维-行动统一。

端到端的像素到语言统一架构,为视觉理解与生成开辟了巨大可能性,支持高效强大的原生多模态理解、生成及交叉推理能力。

🏗️ 核心支柱:

SenseNova U1的核心是**NEO-unify**,这是一种基于多模态AI第一性原理设计的新型架构:它消除了视觉编码器(VE)和变分自编码器(VAE),其中像素和单词信息本质上是深度关联的。 以下是几个重要特性:

  • 🔗 将语言和视觉信息端到端建模为一个统一的复合体。
  • 🖼️ 在保持像素级视觉保真度的同时保留语义丰富性。
  • 🧠 通过原生多模态思维(MoT)高效且最小冲突地进行跨模态推理。

基于这一全新核心架构,SenseNova U1-8B-MoT-信息图(SenseNova U1-8B-MoT的信息图特别增强版)提供了卓越的效率和最先进的信息图性能:

生成延迟与信息图基准测试(BizGenEval、IGenBench)的平均性能对比

通用基准测试中的生成延迟与平均性能对比(OneIG、LongText、CVTG)。

  • 基准性能表现 :相较于基础模型 SenseNova-U1-8B-MoT ,BizGenEval 困难/简单任务得分从 39.8 / 61.1 提升至 46.6 / 65.4+6.8 / +4.3分 ),IGenBench 问答准确率/图像理解准确率从 51.3 / 4.2 跃升至 69.5 / 17.0+18.2 / +12.8分),同时保持稳健的视觉理解能力未出现显著退化。
  • 生成质量:该模型可生成涵盖100余种风格与版式的复杂信息图,具有更优的视觉美学表现与文本渲染能力------包括arXiv式页面等密集小字号文本内容。
模型 BizGenEval 平均分 (困难/简单) ↑ IGenBench 问答准确率↑ IGenBench 图像理解↑ OneIG(英文) ↑ OneIG(中文) ↑
商业模型
Nano-Banana-Pro 76.7 / 93.7 90.6 48.8 58.1 56.8
Nano-Banana-2.0 68.5 / 92.5 85.6 34.4 54.0 54.9
GPT-Image-1.5 35.9 / 81.6 55.0 12.0 - -
Qwen-Image-2.0 45.5 / 65.8 50.0 3.0 54.1 50.9
Seedream-4.5 30.1 / 66.2 61.0 6.0 56.4 55.0
开源模型
SenseNova-U1-8B-MoT-信息图 46.6 / 65.4 69.5 17.0 55.6 53.3
SenseNova-U1-8B-MoT 39.8 / 61.1 51.3 4.2 54.5 53.8
Z-Image 8.2 / 43.8 30.0 1.0 54.6 53.5
Qwen-Image-2512 6.3 / 41.0 32.2 1.0 53.0 51.5
Qwen-Image 2.8 / 23.8 36.0 0.0 53.9 54.8
Bagel 2.0 / 3.7 4.9 0.0 36.1 37.0

~IGenBench分数以百分比形式呈现。商业模型与开源模型组分别按BizGenEval困难项、简单项、IGenBench问答准确率及图像理解准确率的算术平均值排序。OneIG作为通用生成能力参考指标。完整分类结果详见Hugging Face模型卡。~

  • 📰 高密度信息渲染(专项能力):该专项模型在密集视觉信息传达方面表现突出,可为知识图解、海报、演示文稿、漫画、简历等信息密集型载体生成结构丰富的版式。

  • 🏆 开源领域最先进技术:SenseNova U1为多模态统一理解与生成树立新标杆,在开源模型中实现信息图生成性能的突破性进展。

🎨 信息图展示集

📸 更多生成示例: 查看 ✨ 信息图展示集










相关推荐
冬奇Lab16 小时前
Workflow 系列(03):状态管理——持久化、幂等性与版本绑定
人工智能·工作流引擎
冬奇Lab16 小时前
每日一个开源项目(第146篇):openpilot - 开源自动驾驶辅助系统,曾在 Consumer Reports 评测中超过特斯拉 Autopilot
人工智能·开源·自动驾驶
threerocks17 小时前
一用一个不吱声的视频解析 Skill,你值得拥有
aigc·ai编程
吴佳浩18 小时前
AI 工程师知识地图:模型格式、框架、部署工具一次讲明白
人工智能·aigc·ai编程
IT_陈寒18 小时前
Java的Date类又坑了我一次,改用时间戳真香
前端·人工智能·后端
码农胖大海18 小时前
AI额度不够用的解决方案
人工智能
后端小肥肠19 小时前
小红书虚拟商品怎么做?我先用 Skill 跑通了壁纸品类
人工智能·aigc·agent
feiyu_gao19 小时前
从零搭建个人 AI 工作台:一个管理者的 3 个月实验
人工智能·aigc·团队管理
JEECG官方20 小时前
Claude Code Loop 快速入门:从一行命令到自动迭代
aigc