小红书亮剑:这匹开源黑马,敢和 Gemini 掰手腕了

在多模态AI的牌桌上,玩家们一直仰望着 Gemini 和 GPT-4o 这样的闭源巨头。开源社区虽然英雄辈出,但总感觉在最顶尖的视觉语言理解上,还差着那么一口气。直到 2025 年 8 月 6 日,一个意想不到的玩家------小红书 Hi Lab,带着他们的 dots.vlm1,直接掀了桌子。

这不仅仅是一次常规的模型开源,更像是一份战书。它的核心信息很简单:我们来了,而且我们能打。

王炸组合:自研视觉心脏 + 顶级语言大脑

忘掉那些在现有模型上修修补补的"微调"方案吧。小红书这次玩得很大,他们为 dots.vlm1 打造了一颗全新的"视觉心脏"------一个从零开始训练的 12亿参数 NaViT 视觉编码器

"从零训练"这四个字,在圈内意味着巨大的投入和底气。它摆脱了对现有视觉模型的依赖,意味着感知能力的上限完全由自己定义。更妙的是,它原生支持动态分辨率,不再需要把所有图片都粗暴地裁剪成一个尺寸,无论是高清长图还是奇形怪状的图表,都能尽收眼底。

而与这颗强大心脏匹配的,是久经考验的 DeepSeek-V3 语言模型。这相当于给一辆底盘扎实的越野车,装上了一台性能猛兽的引擎。视觉的深度感知,加上文本的强大推理,双剑合璧。

不走寻常路:用"结构化"数据喂出的刁钻胃口

如果说模型架构是骨骼,那训练数据就是血肉。dots.vlm1 的强大,很大程度上源于它"挑食"的训练数据。

除了常规的图文配对,Hi Lab 团队给它"喂"了海量的结构化图片。这意味着什么?它看的不再仅仅是"一只猫在草地上",而是复杂的科研图表、密密麻麻的商业报表和技术文档。通过这种特训,dots.vlm1 练就了一双"火眼金睛",能精准洞察图片中的逻辑关系和结构信息,而不是仅仅看个热闹。

这种对高质量、结构化数据的执着,让它在处理现实世界中最棘手的视觉任务时,表现得游刃有余。

实力如何?数据不说谎

空谈架构和数据都是虚的,我们直接看战绩。

MMMU (多学科理解)、MathVista (数学推理)这类公认的高难度综合基准上,dots.vlm1 的表现已经杀到了闭源顶流 Gemini 2.5 Pro 的门前,差距微乎其微。特别是在 ChartQA(图表问答)这类任务上,它甚至实现了反超。

这意味着,当其他开源模型还在努力理解"图片里有什么"时,dots.vlm1 已经能和你讨论"这张财务报表第三季度的同比增长率是多少"了。同时,它的文本能力也完全看齐 DeepSeek 主力模型,写代码、解数学题都不在话下。

开源的终极形态:给你全套"施工图纸"

小红书这次的开源,不是扔出一个模型文件就完事了。他们几乎是把整个项目的"施工图纸"都交给了社区:从视觉预训练,到多模态预训练,再到最终的指令微调,全套方案、中间模型、训练细节一并放出。

这背后传递的信号是:我们不仅做出了一个好模型,我们还希望整个社区都能复现、借鉴、并超越它。这才是开源精神最纯粹的体现。

总而言之,dots.vlm1 的出现,不是在开源多模态领域里添了一块砖,而是直接立起了一座新的灯塔。它证明了通过创新的架构设计和高质量的数据工程,开源模型完全有能力与闭源巨头一较高下。

对于开发者和研究者来说,一个强大、可复现、商业友好的多模态基础设施已经摆在面前。接下来,就看大家能用它创造出怎样的新物种了。


如果你也对最新的AI信息感兴趣或者有疑问 都可以加入我的大家庭 第一时间分享最新AI资讯、工具、教程、文档 欢迎你的加入!!!😉😉😉

公众号:墨风如雪小站

相关推荐
倔强的石头_7 分钟前
Rokid AI眼镜:连接现实与数字的桥梁,探索下一代智能应用开发
aigc
撸码猿36 分钟前
《Python AI入门》第10章 拥抱AIGC——OpenAI API调用与Prompt工程实战
人工智能·python·aigc
桂花饼5 小时前
深度解析 Gemini 3 Pro Image (Nano Banana 2):Google 最强图像模型的核心能力与 API 对接指南
人工智能·aigc·ai绘图·nano banana 2·图像生成api·openai兼容接口·gemini 3 pro
张彦峰ZYF7 小时前
AI赋能原则1解读思考:超级能动性-AI巨变时代重建个人掌控力的关键能力
人工智能·ai·aigc·ai-native
极客BIM工作室8 小时前
从静态到动态:Sora与文生图潜在扩散模型的技术同异与AIGC演进逻辑
人工智能·aigc
Mintopia11 小时前
🎭 小众语言 AIGC:当 Web 端的低资源语言遇上“穷得只剩文化”的生成挑战
人工智能·aigc·全栈
高洁0112 小时前
具身智能-视觉语言导航(VLN)
深度学习·算法·aigc·transformer·知识图谱
EdisonZhou12 小时前
MAF快速入门(3)聊天记录持久化到数据库
llm·aigc·agent·.net core
coder_pig1 天前
Antigravity 登录问题/数据泄露风险 (附:白嫖一个月 Gemini Enterprise 攻略)
aigc·visual studio code·gemini
豆奶特浓61 天前
Java面试模拟:当搞笑程序员谢飞机遇到电商秒杀与AIGC客服场景
java·spring boot·微服务·面试·aigc·高并发·电商