从“更大”到“更会做事”：Kimi K3 的开放前沿智能路线

写在前面

【从零走向AGI 】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。

项目地址 🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间

猫先生

从零走向AGI

面试面经

AIGC算法岗/开发岗面试面经交流社群 （涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

Kimi K3 是月之暗面于 2026 年 7 月发布的旗舰模型。官方将它定位为开放的 3T 级模型：总参数 2.8T、原生视觉能力、100 万 token 上下文，并面向长程编码、知识工作与推理任务。它的技术主线不是单纯继续增大 MoE，而是用 Kimi Delta Attention（KDA） 、Attention Residuals（AttnRes） 和更稀疏的 Stable LatentMoE，试图在超长上下文、极大参数量和可承受的推理成本之间同时取平衡。

官方发布技术博客，而非完整技术报告。博客说明，模型权重和详细架构、训练、评测报告预计在 2026 年 7 月 27 日一同发布。因此，本文能解释"官方声称采用了什么设计、这些设计想解决什么、现有评测支持到何处"，但不会把尚未公开的训练细节、参数分配和独立复现效果补写出来。

猫先生认为 ，K3 试图把模型规模、长上下文、原生视觉和长程 Agent 行为放进同一套效率约束中。 如果后续技术报告能证明 KDA、AttnRes 与高稀疏 MoE 的贡献，这会是一条很有价值的开放模型扩展路线；在此之前，博客中的性能描述仍需按官方结果阅读。

官方发布博客：https://www.kimi.com/blog/kimi-k3

Kimi API 平台：https://platform.kimi.ai

Kimi Code 文档：https://www.kimi.com/code/docs/en/kimi-code/models.html

图 1：Kimi K3 官方发布主视觉。该图来自发布博客中。来自 https://www.kimi.com/blog/kimi-k3。

原文脉络

博客先给出 K3 的规模、上下文和定位；随后解释 KDA、AttnRes 与 Stable LatentMoE 组成的架构方向。主体按 Coding、Knowledge Work、Architecture and Infrastructure、Availability、Benchmark Table 和 Limitations 排列：先展示模型能完成的长程工作，再回到它怎样训练、部署与评测，最后直接写出思考历史和过度主动性的限制。

1. 开放 3T 级模型：规模不是唯一目标

K3 的总参数为 2.8T。它使用 MoE，但每个 token 有效激活 896 个专家中的 16 个。把总参数做大、而每次只调用一小部分专家，是当前大模型扩展中控制单 token 计算量的常见路径；难点转移到路由是否稳定、专家是否均衡，以及跨设备通信是否会吞掉效率。

官方给出的另一个核心数字是 100 万 token 上下文。长上下文并非只意味着"能塞进更多 PDF"：对长程编码 agent 而言，它决定模型能否持续保留代码库、终端输出、推理记录与工具调用历史；对知识工作而言，它决定大量网页、报告、表格和中间结论能否维持在同一个任务状态中。

K3 的发布节奏也需要分清：官方称模型可通过 Kimi、Kimi Work、Kimi Code 和 API 使用；完整权重与技术报告尚未发布。因而它目前是"可调用的公开产品"，但还不是一个已经能由社区完整审计的开放权重研究对象。

2. 架构与基础设施：KDA、AttnRes 和高稀疏 MoE 的组合

图 2：Kimi K3 的概念架构图。

2.1 Kimi Delta Attention：降低长序列注意力的扩展压力

KDA 被官方描述为高效扩展 attention 的基础。传统全注意力会让序列位置两两交互，长度增加时计算和 KV cache 压力迅速变大。KDA 的目标是用更适合长序列的信息更新方式，保存必要状态而不让每一步都付出完整全局注意力的代价。

博客同时提到 KDA 给常规 prefix cache 带来新挑战，并称团队为 vLLM 社区贡献了对应实现。这个细节很重要：长上下文模型是否便宜，不能只看单次前向的理论复杂度，还要看多轮对话或 agent 工具循环中，历史前缀能否被有效复用。

2.2 Attention Residuals：跨层检索，而不是把每层表示都平均累积

AttnRes 的官方描述是"选择性地跨模型深度检索表征，而不是均匀累积"。直观理解，深层网络并不一定只应依赖上一层输出；一些任务可能需要重新取回较早层的局部模式、语义特征或注意力结果。AttnRes 试图为这种跨层信息回流提供可学习通道。

这类设计针对的是深模型的信息退化与训练稳定性问题，但目前博客没有给出它的精确定义、消融曲线或与标准 residual 的同算力比较。它是 K3 架构中最值得等技术报告的一部分，不能仅凭名称推断其全部效果。

2.3 Stable LatentMoE：高稀疏路由把优化与通信推到前台

K3 的有效激活比例为 16 / 896 16/896 16/896，约 1.8%。这让单 token 的前馈计算远低于"全参数激活"的 2.8T 模型，却也使路由、专家负载与跨卡通信成为一等问题。

博客列出三项配套设计：

Quantile Balancing：按 router score 的分位数分配专家容量，减少启发式均衡更新和敏感超参数；
Per-Head Muon：按注意力头而非整体统一优化，提升超大训练中的适应性；
fully balanced expert-parallel training：使用静态 shape，避免关键路径上的主机同步，以减轻专家并行时的吞吐波动。

猫先生认为 ，K3 的工程：高稀疏 MoE 的瓶颈不再只是"专家够不够多"，而是路由、并行和缓存能否稳定地让这些专家为真实 agent 工作。 这也是它把模型架构与部署基础设施放在同一节解释的原因。

3. Coding：K3 把长程自主执行当作核心能力

博客将长程编码放在最前面：模型需要浏览大型仓库、调用终端工具、持续数小时处理工程任务，并根据截图或视觉输出迭代前端、游戏和 CAD 工作。

GPU kernel optimization 的评测让模型在相同 sandbox 中独立工作，最长可运行 24 小时，覆盖 AttnRes、KDA 和 512 维 MLA kernel。官方称 K3 在该设置下与 Claude Fable 5（可能含 fallback）具有竞争力，并明显优于若干其他对比模型。这个案例说明 K3 不只生成代码，还要 profile、修改、编译、测试和比较指标；但它仍是厂商定义任务，且有模型 fallback 和数值容忍度等条件，不能直接视为通用工程生产力的独立排名。

MiniTriton 案例更像端到端能力展示：K3 从零搭建一个紧凑的 Triton 类 GPU 编程系统，包括 MLIR 上的 tile-level IR、优化 pass 和 PTX 代码生成，之后用 nanoGPT 训练验证编译链路。博客给出的证据支持"模型能把多个工程子系统串起来"；它不等价于对 Triton 全部特性、鲁棒性和长期维护性的替代。

4. Knowledge Work 与原生多模态：从检索答案到组织可交互产物

K3 的知识工作展示集中在长程检索、工具调用、图表和可交互交付物。ASIC 行业研究案例涉及 2.8k 余次网页检索/抓取、1.1k 余次终端数据获取、11k 余页面和数十份财报；引力波案例则使用并发子 agent、文献综合与数据可视化。

这些案例强调的不是"模型看过很多网页"，而是 Agent 能否维持一条长任务链：找到来源、抽取数据、交叉验证、生成图表、将结果做成能继续探索的 dashboard。Widgets 与 Dashboard 是产品层为此提供的持久化界面；它们不直接证明底层模型更聪明，但降低了长程成果在用户工作流中丢失的概率。

博客还把视觉、视频和代码放在同一个模型里，称其可通过"vision in the loop"根据实时截图调整游戏或前端。原生多模态的价值在于：agent 不需把视觉状态先交给外部 OCR 或专用视觉模型再转换成文本。

5. 评测

在 max reasoning effort、temperature 1.0、top-p 1.0 的设置下，官方表格列出 K3 在多个方向的结果：

图 2：Kimi K3 官方博客中的 Coding 基准图。所有模型均使用高思考强度；其中 Fable 5 的部分结果可能包含 fallback，GPT-5.6 Sol 的部分结果含有 cyberguard，这些条件使横向比较需要结合脚注理解。

Coding：DeepSWE 67.5、Program Bench 77.8、FrontierSWE 81.2、SWE Marathon 42.0；
Agentic：BrowseComp 91.2、DeepSearchQA 95.0、AutomationBench 30.8；
Reasoning：GPQA-Diamond 93.5、HLE-Full 43.5；
Vision：MMMU-Pro 81.6、MathVision 94.3、OmniDocBench 91.1。

这些数值说明 K3 并非只为单一代码基准调优，覆盖了 agent、推理和视觉评测。但表格也明确标注了比较条件差异：不同模型使用 KimiCode、Claude Code、Codex 等不同 harness；一些对手的成绩取自公开排行榜；Claude Fable 5 在部分设置可 fallback 到 Claude Opus 4.8；部分基准由 Gemini 3.1 Pro 充当 judge。

因此，K3 在官方选择的高 effort、工具化评测设置中处于强竞争区间；它在某些条目领先，在一些最强闭源对手上仍落后。官方自己也承认，其整体用户体验与 Claude Fable 5、GPT 5.6 Sol 之间存在明显差距。

6. 可用性、推理成本与部署约束

API 定价为 cache-hit 输入 $0.30/MTok、cache-miss 输入$ 3.00/MTok、输出 $15.00/MTok。官方称编码工作负载的 cache hit rate 可超过 90%，这解释了为什么 prefix cache 对 K3 很关键：百万上下文若每轮都全额重算，实际成本会迅速失控。

部署层面，官方建议使用至少 64 个加速器的 supernode。它一方面说明 2.8T MoE 可以通过量化、专家并行和缓存做出较有竞争力的服务价格；另一方面也说明"开放权重"不等于个人或小团队能轻松本地部署。K3 的硬件门槛、量化后质量和不同推理引擎的兼容性仍需等权重与报告发布后验证。

7. 局限：思考历史依赖与过度主动

官方列出的第一个限制是 thinking history sensitivity。K3 按"保留思考历史"的模式训练；若 agent harness 没有完整回传历史 thinking 内容，或一个进行中的会话从别的模型切换到 K3，生成质量可能明显不稳定。这个限制意味着它不能被当作任意 OpenAI-compatible 接口的无缝替换，编排层需要理解模型的上下文契约。

第二个限制是 excessive proactiveness。为了长程、困难任务优化后，模型面对小问题或模糊意图时可能替用户作出超出预期的决定。官方建议通过更明确的 system prompt 或 AGENTS.md 加边界。这是 agent 模型很典型、也很实际的风险：能力越强，错误的自主扩张越需要被产品约束、权限系统和人工确认所限制。

总结：K3 的技术思想是一套"长程 Agent 的效率栈"

Kimi K3 当前可确认的贡献，不是一篇已完成的技术论文，而是一份信息密度较高的发布博客：

架构层：KDA、AttnRes 与高稀疏 Stable LatentMoE 面向超长上下文和超大规模训练；
系统层：量化、专家并行、缓存和大通信域部署共同决定推理是否可用；
能力层：编码、知识工作和原生视觉被统一为能持续调用工具、观察结果并交付产物的 Agent；
产品边界：思考历史必须正确保留，模型也需要抑制过度自主行动。

K3 的完整判断仍要等权重与技术报告发布后：届时应重点关注 KDA/AttnRes 的定义与消融、16/896 专家的真实激活与负载、训练数据与安全策略、视觉能力来源，以及是否有可复现的长程 Agent 评测。