字节 Seed-2-OSS 开源,内部豆包能力的开源释放

一、模型速览

项目 规格
模型名 Seed-2-OSS(字节跳动 Seed 团队)
发布时间 2026-10-20
架构 MoE,总参数 250B / 激活 22B,64 专家选 8
上下文 原生 256K,YaRN 外推至 1M
许可 Apache-2.0(商用最友好,系列最松)
权重格式 BF16 / FP8 / GGUF(Q4_K_M、Q4_0)
多语言 中英为主,覆盖 30+ 语种
定位 国产开源里"最松许可 + 最强 agent"的集群级 MoE,闭源豆包的同族开源版

一句话定位:Seed-2-OSS 是字节跳动把内部豆包能力的开源释放版------MoE 把激活压到 22B,配上 Apache-2.0 和原生工具调用,是合规要求严、又要跑 agent 的团队的首选。

二、核心亮点

  1. Apache-2.0,系列最松许可:对比 Moon­shot 社区许可(MiMo)、minimax-community(MiniMax M3)、MRL(Mistral,<700M MAU 免费),Seed 的 Apache-2.0 无 MAU 限制、可闭源再分发,企业商用最省心。

  2. 原生 agent / 工具调用:训练阶段即对齐 function calling,多轮工具编排稳定,少做 prompt 工程就能接 RAG、代码执行、工作流。

  3. 22B 激活的集群性价比:250B 总参数保底能力,22B 激活让单台 8×H100 即可满血推理,Q4_K_M 下 2 张卡就能跑。

  4. 256K 原生 + YaRN 1M:长文档、长对话、Repo 级代码理解开箱即用,外推到 1M 仍可跑(需调 YaRN 尺度)。

  5. 中英双语 + 多语言:延续豆包语系优势,中文 C-Eval 占位 91,英文 GPQA 占位 76,海外业务也能用。

三、部署实战

3.1 下载

bash 复制代码
# HuggingFace
huggingface-cli download ByteDance-Seed/Seed-2-OSS-Instruct --local-dir ./Seed-2-OSS
​
# ModelScope(国内更快)
modelscope download ByteDance-Seed/Seed-2-OSS-Instruct --local_dir ./Seed-2-OSS
​
# GGUF 量化版(llama.cpp / Ollama 用)
huggingface-cli download bartowski/Seed-2-OSS-Instruct-GGUF --include "*Q4_K_M.gguf" --local-dir ./Seed-2-OSS-GGUF

3.2 启动

方式 A · Ollama(最省事,单/双卡)

bash 复制代码
# 导入本地 GGUF
ollama create seed2oss -f ./Modelfile   # Modelfile: FROM ./Seed-2-OSS-GGUF/seed-2-oss.Q4_K_M.gguf
ollama run seed2oss

方式 B · vLLM(集群高吞吐,OpenAI 兼容)

bash 复制代码
vllm serve ByteDance-Seed/Seed-2-OSS-Instruct \
  --tensor-parallel-size 8 \
  --dtype fp8 \
  --max-model-len 262144 \
  --enable-auto-tool-choice --tool-call-parser seed

方式 C · SGLang(长上下文 + agent 友好)

bash 复制代码
python -m sglang.launch_server \
  --model-path ByteDance-Seed/Seed-2-OSS-Instruct \
  --tp 8 --mem-fraction-static 0.88 --context-length 262144

3.3 推理代码(OpenAI 兼容 + 工具调用)

python 复制代码
from openai import OpenAI
​
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
​
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查询城市天气",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]
​
resp = client.chat.completions.create(
    model="ByteDance-Seed/Seed-2-OSS-Instruct",
    messages=[{"role": "user", "content": "北京今天天气怎么样?"}],
    tools=tools,
    tool_choice="auto",
)
print(resp.choices[0].message.tool_calls)

3.4 验证

bash 复制代码
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"ByteDance-Seed/Seed-2-OSS-Instruct","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":64}'

⚠️ 避坑提醒

  • --tool-call-parser seed 仅在 vLLM ≥ 0.8 支持;旧版需升级,否则工具调用返回空。

  • FP8 启动需 H100/A100(sm90/sm80),在 4090 上会回退 BF16,显存直接翻倍。

  • YaRN 外推到 1M 时,务必在启动参数里显式设 --max-model-len 1048576,否则长上下文会被截断且不报错。

  • GGUF 走 Ollama 时,Q4_K_M 约 140GB,单张 80GB 卡装不下,至少 2×H100 或 4×A6000。

四、性能测评

4.1 速度 & 显存(社区口径占位值,待独立复测)

部署档位 量化 显存占用 吞吐(输出 tok/s)
单卡 H100 80GB Q4_0 ~85GB ~38
2×H100 Q4_K_M ~140GB ~70
8×H100 FP8 ~250GB ~210
8×H100 BF16 ~500GB ~180

4.2 质量维度(厂商自报 + 社区口径,待独立复测)

维度 占位值 说明
AA 综合 44 系列占位口径
GPQA(研究生级推理) 76 理科推理
MMLU 87 通识
MMLU-Pro 64 更难通识
HumanEval(代码) 92 单轮代码
SWE-bench(真实仓库) 58 agent/工程
MATH 81 数学
C-Eval(中文) 91 中文通识
RULER-256K 92 长上下文检索

4.3 同档对比(均为占位值,待独立复测)

模型 总/激活 上下文 许可 AA 定位
Seed-2-OSS 250B/22B 256K(YaRN 1M) Apache-2.0 44 最松许可 + agent
Qwen3.6-35B-A3B 35B/3B 256K Apache-2.0 42 小激活省显存
GLM-5.3-Flash 50B/5B 128K MIT 43 快推理
DeepSeek-V4.1-Flash 210B/18B 1M MIT 43 长上下文性价比
MiMo-V2.6-Pro 30B/3B 1M Moonshot 46 推理强

结论:Seed-2-OSS 在"许可最松 + agent 原生"上独一档;要极致省显存看 Qwen3.6/GLM-5.3-Flash,要 1M 长上下文看 DeepSeek V4.1-Flash / MiMo。

五、使用建议

适用场景

  • 企业商用、合规审查严、不想被 MAU 限制绑定的团队(Apache-2.0 直接可用)。

  • 重度 agent / 工作流编排、RAG + 工具调用的产品。

  • 中英双语、有海外业务、需要长文档/Repo 级理解的服务。

不适用场景

  • 单张消费级显卡(24GB/48GB)想跑满血:22B 激活虽小,但 250B 总参数 Q4 也需 85GB+,必须多卡。

  • 追求 1M 原生(非外推)长上下文:Seed 原生 256K,1M 靠 YaRN 外推,稳定性弱于 DeepSeek/MiMo 原生 1M。

  • 超低成本端侧:选 MiniMax M3-mini / MiniCPM5 更合适。

调优建议

  • agent 场景:开启 --enable-auto-tool-choice,并用 system prompt 明确工具边界,减少幻觉调用。

  • 长上下文:256K 内直接跑;超过则设 YaRN 尺度并做 RULER 自测,别盲信 1M 标称。

  • 显存紧张:优先 Q4_K_M(140GB,2×H100),吞吐够用;要极限吞吐再上 FP8 8 卡。

六、话题

你所在团队对模型许可最看重哪一点------Apache-2.0 的"无 MAU 限制",还是 MIT 的"简单"?在评论区聊聊你的选型红线。


数据来源说明:本文架构、许可、量化体积与基准数值均为厂商自报 + 社区口径的占位值,尚未经过本专栏独立复测,标注"待独立复测";实际表现以你本地硬件与业务数据为准。跨模型 AA 为统一占位口径,不等同于同一评测集直接可比。

相关推荐
学无止境小袁同学14 小时前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
Cosolar14 小时前
2026 年 Java AI Agent 生态全景盘点:50+ Java 开源项目的分类、实测与选型判断
人工智能·架构·agent
张一凡9316 小时前
你的 AGENTS.md,真的管到模型写代码了吗?
前端·后端·agent
qinglongcn16 小时前
怎么让 200 轮的长任务不崩——三层保全策略
agent·ai编程
数字工作台16 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
阿里云大数据AI技术17 小时前
如何用 STAROps Elasticsearch 智能助手看穿“搜索变慢”
人工智能·agent
小七-七牛开发者17 小时前
Anthropic:Agent 不必一直运行,也能持续工作
agent·claude·deepseek·anthropic·alwaysonagent
xyphf_和派孔明19 小时前
第十章: Agent Skill的调用机制解读
langchain·llm·agent
Csvn20 小时前
所有问题都喂最贵的模型?规则路由实测:30 个问题里 16 个能交给便宜模型(C03)
人工智能·aigc·agent
真上帝的左手21 小时前
26. AI-Agent-技术架构:Harness、Runtime、Orchestrator、Framework
人工智能·架构·agent·ai编程·智能体