声明：本文为个人技术学习笔记，内容基于月之暗面官方2026年7月14日公开的技术博客整理，非商业推广。
一、开源模型的「3T 俱乐部」终于有人了
2026年7月14日，月之暗面（Moonshot AI）放出了 Kimi K3 的技术博客和模型，参数规模达到 2.8 万亿（2.8T）。
坦白说，这个数字本身就很炸裂------在 K3 之前，开源模型的天花板一直在 1T 左右晃荡，闭源那边 Claude Fable 5 和 GPT 5.6 Sol 早就跑到前面去了。K3 直接把天花板从 1T 拉到接近 3T，让开源阵营第一次有了真正的「3T 级选手」。
当然，月之暗面自己也承认：整体表现还是落后于 Fable 5 和 GPT 5.6 Sol ，但在他们的评测里，K3 稳定超过了其他所有被测模型。
二、核心变化：不只是堆参数
架构层面
K3 最大的变化不是参数翻倍，而是换了一套新架构：
- KDA 混合线性注意力（Kimi Delta Attention）：这就是那个能让百万 token 上下文跑起来的关键。传统注意力机制在超长序列下计算量爆炸，KDA 换了个路子
- Attention Residuals（注意力残差）：不是每层都无脑累积信息，而是有选择地跨深度检索。这个理解起来有点像跳连接（skip connection）的进阶版
- Stable LatentMoE：896 个专家里激活 16 个。对比 K2 的 256 选 8，专家池子翻了 3.5 倍
几个听起来冷门但实际挺重要的改进
| 技术点 | 一句话解释 |
|---|---|
| Quantile Balancing | 专家路由不需要手动调平衡超参数了，路由分数分位数自动算 |
| Per-Head Muon | 优化器改进，每个注意力头独立优化 |
| SiTU 激活函数 | 新激活函数，训练更稳 |
| Gated MLA | 门控多头注意力，选择性更强 |
| MXFP4+MXFP8 量化 | 从 SFT 阶段就用量化感知训练，省显存 |
月之暗面说这些改进加起来，相比 K2 的训练效率提升了约 2.5 倍------就是说花同样的算力，能「榨」出更多智能。
部署层面
K3 推荐在 64+ 加速器的超节点上跑，这个门槛不低。vLLM 社区已经有对应的 KDA with Prefill Cache 实现，随模型权重一起开。
三、K3 和它前辈们
月之暗面这一年多打得很勤快，过去 12 个月里有 9 个月都在刷开源模型的规模上限：
| 型号 | 时间 |
|---|---|
| K1.5 | 2025年1月 |
| K2 | 2025年7月（1T，开源） |
| K2 Thinking | 2025年11月（开源） |
| K2.5 | 2026年1月（未开源） |
| K2.6 | 2026年4月（开源） |
| K3 | 2026年7月（2.8T，开源） |
规格对比
| 维度 | K2 | K2.5 | K2.6 | K3 |
|---|---|---|---|---|
| 参数量 | 1T | ~1T | ~1T | 2.8T |
| 总/激活专家 | 256/8 | 256/8 | 256/8 | 896/16 |
| 上下文 | 128K | 128K | 128K | 1M |
| 多模态 | ❌ | ✅ | ✅ | ✅ |
| 思维链 | ❌ | ✅ | ✅ | ✅ 默认max |
| 权重开源 | ✅ | ❌ | ✅ | ✅ 7月27日 |
从 K2 到 K3，每隔几个月就迭代一个大版本，迭代速度确实快。
四、基准数据：K3 在哪儿强、在哪儿弱
以下数据全部来自官方技术博客。K3 评测时使用 max 思考强度，温度 1.0。
代码
| 基准 | K3 | Fable 5 | GPT 5.6 Sol | Opus 4.8 | GPT 5.5 |
|---|---|---|---|---|---|
| SWE Marathon | 42.0 🥇 | 35.0 | 39.0 | 40.0 | 14.0 |
| Program Bench | 77.8 | 76.8 | 77.6 | 71.9 | 70.8 |
| Terminal-Bench 2.1 | 88.3 | 84.6 | 88.8 | 84.6 | 83.4 |
| FrontierSWE | 81.2 | 86.6 | 71.3 | 66.7 | 64.9 |
| DeepSWE | 67.5 | 70.0 | 73.0 | 59.0 | 67.0 |
SWE Marathon 这个分差挺有意思------K3 42.0，GPT 5.5 才 14.0。这块测的是复杂多文件长程编码，差距这么大说明 K3 在这类任务上有明显优势。
Agentic（代理能力）
| 基准 | K3 | Fable 5 | GPT 5.6 Sol |
|---|---|---|---|
| BrowseComp | 91.2 🥇 | 88.0 | 90.4 |
| DeepSearchQA（F1） | 95.0 🥇 | 94.2 | --- |
| Automation Bench | 30.8 🥇 | 29.1 | 29.7 |
| SpreadsheetBench 2 | 34.8 🥇 | 34.7* | 32.4* |
BrowseComp 和 DeepSearchQA 都是信息检索类任务，K3 在这两个上拿了第一。Automation Bench 说明自动化工况下的稳定性也不错。
视觉
| 基准 | K3 | Fable 5 | GPT 5.6 Sol |
|---|---|---|---|
| OmniDocBench | 91.1 🥇 | 89.8 | 85.8 |
| MathVision w/ python | 97.8 | 98.6 | 97.8 |
| MMMU-Pro | 81.6 | 81.2 | 83.0 |
| ZeroBench（无工具） | 23.0 🥇 | 23.0 | 17.0 |
OmniDocBench（文档理解）91.1 分大幅领先所有对手，这个差距还挺明显的。
五、几个让人印象深刻的案例
官方博客里放了几个真正「干活」的场景，不是那种跑个 demo 就完事的：
GPU 内核优化
官方搞了个竞技场：K3、Fable 5、Opus 4.8、GPT 5.6 Sol、GPT 5.5 各自在独立沙盒里限时 24 小时，对 4 个 GPU 任务做剖析、重写、跑分。硬平台包括 NVIDIA H200 和某国产 GPU。
K3 最终表现跟 Fable 5（含回退）差不多，明显领先其他选手。更好玩的是，在 K3 研发后期，早期版本的 K3 就已经在帮团队做内核优化了------模型自己优化自己的底层代码。
MiniTriton：从零写 GPU 编译器
K3 从零撸了一个叫 MiniTriton 的编译器，类 Triton 风格，基于 MLIR 做了自己的 tile 级 IR、优化 pass 和 PTX 代码生成。在一些负载上比原生 Triton 和 torch.compile 还强（虽然 TF32/BF16 还在开发中）。
用 TensorLite 训练 nanoGPT 验证了端到端可用，损失曲线能正常收敛。
芯片设计
K3 在 48 小时内，用开源 EDA 工具和 Nangate 45nm 库，独立完成了芯片设计、优化和验证。4mm² 面积，146 万标准单元，0.277MB SRAM，100MHz 时序闭合，仿真解码吞吐超 8,700 tokens/s。
这颗芯片跑的是基于 K3 架构的 nano 模型------模型给自己设计了芯片。
48 周的科研工作压缩到 2 小时
在天体物理学这个案例里，K3 花了大约 2 小时完成了这些：
- 交叉验证了 20+ 篇论文
- 实现完整数值管线
- 评估 300+ 种状态方程
- 发现已发表公式里的不一致
- 写了 3,000+ 行 Python 代码
- 输出交互式 HTML 仪表盘
正常来说这些工作量需要资深研究员 1-2 周。
从 56 个素材剪辑成片
K3 用 56 段素材剪了段品牌视频，选片、动作匹配、逐帧卡点、音频处理、多轮修改全包了。高密度短视频通常专业剪辑师 1-2 天，新手 3-5 天。
六、还是要说的局限性
官方技术博客里坦承了三个问题，不是那种官方套话：
1. 对历史思考内容敏感
K3 全程用「思考历史保留模式」训练的，如果框架没有回传全部历史推理内容，或者从其他模型的会话中途切到 K3，生成质量会很不稳定。建议用 Kimi Code 这种兼容性验证过的框架，不要中途切模型。
2. 过于主动
由于训练方向偏长程高难度任务，遇到小问题或用户意图不明确时，K3 可能自作主张。需要严格边界控制的话，得在 system prompt 里写清楚约束。
3. 用户体验仍有差距
官方原话："与 Claude Fable 5 和 GPT 5.6 Sol 相比，在用户体验上仍有一定差距。" 这个坦率承认挺难得的。
七、关于开源
完整模型权重将在 2026 年 7 月 27 日前开放。 目前 K3 已经可以在 kimi.com、Kimi App（iOS/Android/鸿蒙）、Kimi Work 桌面客户端（v3.1.0+）、Kimi Code 终端和 Kimi API 上使用。
对开发者来说比较有用的信息：
- 当前默认 max 思考强度，后续会增加 low/high 模式
- vLLM 社区已经有对应实现
- 推荐 64+ 加速器的超节点部署
技术报告和完整架构细节将随权重一同公布，到时会更有技术深度可以挖。
来源： 本文内容整理自月之暗面官方技术博客（kimi.com/blog/kimi-k3），所有基准数据为官方公布结果，引用时尽量保留了评测条件说明。K3 使用 max 思考强度（温度 1.0，top-p 1.0）。