【VLM】结合Python沙箱的以图思辨S1-VL模型

note

  • 基于Qwen3-VL-32B-Thinking做的面向数学、物理、化学、天文、地理、生物六大学科的科学多模态推理模型,主要特点是Python 沙箱执行图像裁剪、缩放、标注等代码,多轮迭代推理
  • 数据源整合【开源轨迹Thyme/V-Thinker+内部高分辨率图表/几何推理数据,Thyme(hinkBeyondImages,让模型自己写Python代码裁剪、放大、旋转、调对比度、做计算,在沙箱里执行,再继续推理,开源了大量代码驱动的图像交互轨迹)/V-Thinker(Interactive Thinking with Images,通过裁剪、画辅助线、标注关键点等交互,一步步看图推理,开源了V-Interaction-400K等高质量视觉交互数据集,专门教模型"边画边想")

文章目录

一、S1-VL多模态推理

【多模态推理大模型进展】基于Qwen3-VL-32B-Thinking做的面向数学、物理、化学、天文、地理、生物六大学科的科学多模态推理模型,主要特点是Python 沙箱执行图像裁剪、缩放、标注等代码,多轮迭代推理。S1-VL: Scientific Multimodal Reasoning Model with Thinking-with-Images,https://arxiv.org/pdf/2604.21409,https://huggingface.co/ScienceOne-AI,https://modelscope.cn/organization/ScienceOne-AI。

1)科学推理数据构造方式:

step1.种子数据采集【覆盖数/理/化/天文/地理/生物六学科,融合开源数据集、教科书、竞赛题】

->

step2.初始模型训练【在种子数据上初步训练】

->

step3.推理轨迹自蒸馏【生成完整思维链推理轨迹,混合通用多模态数据,得到68.5万SFT数据】

->

step4.课程难度分层【10次采样pass_rate<0.4为困难样本,构建20KRL数据、60K课程学习SFT数据】

->

step5.多维度轨迹过滤【剔除无意义token、重复短语、格式异常、数值重复、格式不合规、语义冗余样本】。

2)以图思辨数据:

step1.数据源整合【开源轨迹Thyme/V-Thinker+内部高分辨率图表/几何推理数据,Thyme(hinkBeyondImages,让模型自己写Python代码裁剪、放大、旋转、调对比度、做计算,在沙箱里执行,再继续推理,开源了大量代码驱动的图像交互轨迹)/V-Thinker(Interactive Thinking with Images,通过裁剪、画辅助线、标注关键点等交互,一步步看图推理,开源了V-Interaction-400K等高质量视觉交互数据集,专门教模型"边画边想"),都是专门做边看图片、边写Python代码操作图片、边推理的思考模型】

->

step2.结构化适配【统一为多轮对话、标准思维链+工具调用格式】

->

step3.六维度质量过滤【格式合规→推理答案一致→中间图像有效→图文语义对齐→关键信息完整→跨回合无冗余】

->

step4.自适应数据路由【视觉信息增益低的样本转为纯科学推理数据,避免无意义图像操作】

->

step5.滚动采样与下采样【每个样本16次滚动,剔除全错样本,下采样得到10KRL数据】->step6.最终数据产出【72K以图思辨SFT数据、10K以图思辨RL数据】;

3)训练过程。基座模型使用Qwen3-VL-32B-Thinking,分别做68.5K科学推理SFT数据微调、60K科学难题正确轨迹+72K以图思辨SFT数据微调、20K科学困难RL样本SAPO强化学习。

相关推荐
全栈弄潮儿25 分钟前
Python实战第1期:Python环境搭建与第一个程序
python
心易行者30 分钟前
Agent应用+API端点商业化进阶实战:从单体智能体到可付费调用的API全流程
运维·服务器·人工智能·python·apache
weixin1997010801644 分钟前
《1688图片空间API踩坑:img.upload 与 album.* 的防盗链与CDN缓存问题》(附Python源码)
开发语言·python·缓存
用户938515635071 小时前
从 0 到 1 搭建企业级多模态 RAG 知识库:一个装修公司的 AI 落地实战
人工智能·langchain·llm
布吉岛的石头1 小时前
Java 程序员第 49 阶段11:Java 接 BERT:用 ONNX Runtime 做句向量推理
java·人工智能·python·深度学习·bert·transformer
我跟你说1 小时前
不改权重的终身学习:AI Agent 的“可塑性”架构与技能自演进深度解构
agent
第25小时记录1 小时前
数据结构与算法 -第 3 章 常用算法-动态规划
数据结构·python
用户721746588261 小时前
把云端沙箱实例拆成三层看:控制面、运行时、计费面的一次全流程核查
agent·ai编程
Dmz丶1 小时前
前端转 AI 100 天 Day 18:pytest 入门——为什么你必须要写测试
python
用户250458106091 小时前
AI智能体正在改变软件开发方式,但距离完全自主编程还有多远?
aigc·agent