Introducing Kimi K3.1 Pro——隆重推出 Kimi K3.1 Pro

一、模型发布

Kimi K3.1 Pro：K3.1 系列首款模型，3T 级开放权重，100 万 token 上下文窗口，在编程、3D 创作、金融研究、智能体能力上全面提升。
Kimi K3.1 Pro Highspeed：速度提升 2-3 倍。
即日起在 Kimi.ai、Kimi Work、Kimi Code、Kimi API 上线；完整权重 2026 年 11 月 4 日前发布；企业版默认关闭，需管理员开启。

二、核心能力表现

编程：Terminal-Bench 4.0 得分 65.7%（领先 GPT-6 Astra 58.2%，略低于 Claude Opus 5.5 66.4%）；内部 Kimi Code Bench 3.0 得分 61.2%。可端到端完成完整项目，覆盖 Unity、Unreal、Godot 等引擎。
长程编程：在 human-atlas 人体模型上构建行走模拟器，经 167 项任务、420 次评审迭代，使模拟人从数秒瘫倒进步到连续行走 11.2 秒；还自主诊断并修正了 36 处肩部肌肉力臂计算错误。
3D 建模：BenchCAD 带工具得分 92.7%，接近 Claude Opus 5.5（96.2%）和 GPT-6 Astra（95.9%）；擅长参数化建模，无需 MCP 即可编写 Blender/CAD 脚本。
金融：OfficeQA Pro v2 得分 64.4（SOTA）；内部基准 Financial Modeling +7.2 分、Financial Research +11.6 分、Business Operation 约为 K3 的 4.2 倍。
事实准确性：Kimi Hallu Bench Hard 上主张级幻觉率从 23.4% 降至 8.3%。

三、网络安全

识别并移除了中期训练和强化学习阶段的网络相关数据，以降低滥用风险。
xdev-bench-hard 上：未做风险削减的检查点 pass@3 达 90.5%，最终 K3.1 Pro 为 81.0%------说明数据移除有效，但通用编程能力仍能泛化到网络任务。
开放权重原则：不发布会拓展网络能力绝对前沿的权重；逐步提升开放权重中的网络能力，让防御方受益，使软件更安全。

四、产品与渠道

Kimi Agents（iOS/Android/HarmonyOS）、Kimi Work（桌面 3.1.0+）、Kimi Code（/model 命令）、Kimi API（kimi-k3.1-pro / highspeed，支持零数据保留）、Kimi Business（企业级隐私与成员管理）。

详细说明了各基准的测试框架、评判模型、采样设置（默认推理力度 max、temperature 1.0、top-p 0.95）、数据来源与引用链接，以及对在线检索答案等作弊行为记零分的处理规则。这里是自己的阅读记录，官方博文地址在这里，如下所示：

我们正式推出 Kimi K3.1 Pro------这是我们全新 K3.1 系列的首款模型，也是我们迄今能力最强的 3T 级开放权重模型，具备 100 万 token 的上下文窗口。它在编程、3D 创作、金融研究以及其他智能体能力方面均有显著提升。

我们还同步发布 Kimi K3.1 Pro Highspeed，其速度达到 K3.1 Pro 的 2-3 倍，可带来更迅捷的交互体验。

Kimi K3.1 Pro 和 Kimi K3.1 Pro Highspeed 即日起可在 Kimi.ai、Kimi Work、Kimi Code 和 Kimi API 上使用。完整模型权重将于 11 月 4 日前发布。

拓展开放智能的边界

Kimi K3.1 Pro 是 Kimi K3 的后训练版本，后训练算力大幅提升。为了在数百个下游领域实现大规模联合强化学习，我们优化了技术栈的每一层------强化学习框架、长上下文推理、训练效率、沙箱基础设施、rollout 调度，以及用于环境质量检查的共享平台------从而使每一份强化学习算力的增加都能带来稳定、可预测的回报。因此，K3.1 Pro 在每一个领域都取得了持续稳定的提升。

在编程、智能体和知识类基准测试中，K3.1 Pro 达到或接近最强闭源模型的水平。在 Terminal-Bench 4.0 上------该基准使用严格的任务专属测试，评估编程智能体在贴近真实、资源受限的终端任务中的表现------K3.1 Pro 得分 65.7%，领先于 GPT-6 Astra（58.2%），仅略低于 Claude Opus 5.5（66.4%）。而在 Kimi Code Bench 3.0 Long-horizon 上------这是我们内部的基准，用于测试编程智能体在多样化工程领域中多步骤执行、工具使用和端到端问题解决的能力------K3.1 Pro 得分 61.2%，高于 K3 的 55.95%。

编程

K3.1 Pro 覆盖全方位的编程工作，从真实代码库中的快速修复到完整项目构建。它还能为游戏和网页体验带来更考究的视觉风格，并且知道如何用合适的工具将其构建出来。

K3.1 Pro 可在 Unity、Unreal Engine 和 Godot 等游戏引擎上高效工作，并将它们与网络搜索和 3D 生成相结合，打造完整的体验。其前端页面、交互式 Three.js 场景和 3D 资产在构图、排版、动画和精致度方面表现更强。以下示例均由 K3.1 Pro 端到端创作完成：

虚幻引擎中的天宫对战游戏

Kimi K3.1 Pro 在虚幻引擎 5.8 中构建了一座神话般的东方天宫，其特色是半径 1,750 米、共 36 跨的柱廊，以及一条在 Blender 中程序化建模的巨龙。主角使用 MetaHuman 创建。场景包含 3,600 万个源三角面，并使用 Nanite 进行渲染、Lumen 进行光照。

使用的外部资产：Cloud Forge VDB Clouds、Poly Haven/ambientCG 8K 材质，以及 NASA LRO/LOLA 月球数据。

3D 汽车落地页

Kimi K3.1 Pro 使用定制版 Three.js 分支构建了一个滚动驱动的浏览器端 3D 汽车展示页，包含电影感的布料揭幕效果和一个可交互的工作室车库，共四个章节，最终以 968 个机械零件的俯视爆炸视图收尾。布料模拟和相机动画均在 Blender 中烘焙完成。

使用的外部资产：Sketchfab 上的 Realistic JDM Rim Pack（CC BY），用于车轮。车身涂装及所有内部机械零件均由 Kimi K3.1 Pro 生成。相关资产参考 Mazda RX-7 FD3S 重新构建车身，仅用于展示 K3.1 Pro 的能力，不构成该汽车品牌的任何授权或背书。

K3.1 Pro 的长程编程能力也通过大规模强化学习得到增强。在一项内部测试中，它在 human-atlas 之上构建了一个人体行走动力学模拟器，并集成了训练与评估流程。human-atlas 是一个开源人体解剖模型，包含 296 个骨骼组件（包括软骨）和 402 个肌肉组件。在 167 项任务和 420 次独立评审中，它分析实验结果、诊断问题，并迭代改进行走控制器，使模拟人从数秒内就瘫倒，进步到能够以交替步态连续行走 11.2 秒。当奖励塑形未能改善手臂运动时，K3.1 Pro 并没有一味继续调整奖励：它对模拟器的动力学进行了开环探测，识别并修正了肩部肌肉力臂计算中的 36 处错误，然后重新训练了控制器。

3D 建模与设计

K3.1 Pro 在 3D 创作和空间推理方面表现出色。在 BenchCAD 上------该基准通过 CAD 代码生成来测试基于多视角渲染的 3D 重建------K3.1 Pro 在配备工具的情况下得分 92.7%，接近 Claude Opus 5.5（96.2%）和 GPT-6 Astra（95.9%）的表现。无论是文本简述、草图还是参考图像，它都能推断出形状、比例和空间关系，从而创建可用的 3D 模型。它对现有资产库和模型集合的掌握也更强。

K3.1 Pro 尤其擅长参数化建模，涵盖从机械零件、建筑模型到可配置产品和定制家具。无需 MCP 连接器，它就能为 Blender 和 CAD 软件等工具编写并运行脚本，以构建和优化资产、编辑组件，并调整几何体、材质和场景布局。

以下是 K3.1 Pro 为品牌影片、游戏和交互式网页体验创作的 3D 资产示例：

用 Trimesh 构建的 3D 打印模块化台灯

Kimi K3.1 Pro 使用 trimesh 创作了一款由五个部件组成、可 3D 打印的台灯，灵感源自福建土楼，将其标志性的圆形建筑重新演绎为精巧的镂空花格。

3D Make 现已在 kimi.ai 和 Kimi 应用上线------你可以在线预览和编辑 3D 模型，下载可直接用于 3D 打印的模型，或将其导出为视频或实况照片，随处分享。

金融

凭借更强的推理和智能体能力，K3.1 Pro 能够端到端交付完整的金融工作流。K3.1 Pro 在 OfficeQA Pro v2 上取得最先进的结果（64.4）------该基准通过检索、跨文档验证和多步骤数值推理，测试基于真实金融文档的复杂财政数据分析。K3.1 Pro 在 Frontier Finance 上也较 K3 有所提升，该基准衡量对从筛选到盈利分析等完整投资工作流的支持能力。

K3.1 Pro 在我们所有内部金融基准上也均有显著提升：

Financial Modeling 评估真实建模任务中的公式联动、财务逻辑和最终工作簿质量。K3.1 Pro 较 K3 提升 7.2 分。

Financial Research 评估模型能否在证据和截止时间约束下产出可审计的研究。K3.1 Pro 较 K3 提升 11.6 分。

Business Operation 评估模拟商业环境中的长程管理与决策。K3.1 Pro 的表现约为 K3 的 4.2 倍。

金融分析与投资研究对事实准确性要求极高。为此，我们针对 K3.1 Pro 在真实世界任务和挑战性提示下的事实准确性进行了定向改进。在 Kimi Hallu Bench Hard bench 这一旨在压力测试事实准确性的内部基准上，其主张级幻觉率从 K3 的 23.4% 降至 8.3%，而至少包含一处事实错误的回答占比仅为前代模型的 42.4%。（该评估是对事实准确性的压力测试，其中的示例刻意设计用于探查模型容易出错的场景。所报告的比率并不代表日常使用中的整体错误率。）

以下案例展示了 K3.1 Pro 在实践中如何处理金融建模、投资分析和有来源依据的研究：

NVDA 财务模型

Kimi K3.1 Pro 能够端到端交付专业的 NVDA 财务模型，具备完整联动的公式和假设，并附有扎实的推理依据。

它像分析师一样构建模型：经营驱动因素可在不同情景间调整，并通过敏感性分析展示其对估值的影响。

网络安全

随着 K3.1 Pro 能力增强，我们相应地投入了更大比例的努力，去理解网络能力从何而来，以及其中有多少是我们能够控制的。因此，我们分析并评估了 K3.1 Pro 的漏洞研究能力，并在训练期间施加针对性控制，以降低潜在滥用风险，同时保留通用实用性。

识别并移除网络相关数据。在开发过程中，我们观察到随着后训练规模扩大，漏洞研究表现稳步提升。追溯这一趋势的来源，我们发现网络相关内容嵌入在通用中期训练语料中，且网络相关任务存在于强化学习环境组合中------这是基于广泛数据训练的自然副产物。在内部模型的初步实验中，我们发现若在中期训练或强化学习阶段均不移除数据，下游网络能力将大幅提升。这些发现为我们提供了一个具体的控制杠杆。对于 K3.1 Pro 的开放权重发布，我们从两个训练阶段中识别并移除了网络相关数据，同时保留了模型实用性所需的通用编程任务。我们将继续在每一个训练阶段施加适当的控制，网络相关数据的识别与限制只是其中一例。

评估与结果。数据清洗后，我们在 xdev-bench-hard 上评估了 K3.1 Pro。这是我们内部的基准，由专家策划、基于源代码的漏洞发现与利用任务构成，经过校准，可在我们当前能力水平上提供有意义的区分度。大多数任务忠实复现了 Linux 内核、Node.js、JavaScriptCore、Exim 和 VirGL 等软件中近期披露的漏洞，并启用了缓解措施。每个任务提供存在漏洞的源代码、简短的缺陷提示以及相应的二进制文件；智能体必须开发出利用程序，在独立的沙箱中实现任意代码执行，并取回一个秘密字符串以供自动验证。我们报告在随机子集运行上的 pass@3，不设硬性超时或输出 token 限制。

在 xdev-bench-hard 上，未采取这些风险降低措施的检查点------即中期训练阶段未移除网络相关数据、也未对强化学习环境做网络相关过滤------在 pass@3 下解决了 90.5% 的问题；而最终的 K3.1 Pro 达到 81.0%。这一对比表明，相对于同一训练流程原本会产出的结果，数据移除切实降低了网络能力。与此同时，K3.1 Pro 较其前代大幅提升，这表明更强的通用编程和长程调试能力即使经过定向数据移除，仍能泛化到网络任务上。K3.1 Pro 的网络能力仍落后于已公开可用至少三个月的前沿闭源模型。我们将持续演进内部基准，使评估在模型能力不断提升的过程中始终保持信息价值。

开放权重原则。这些评估构成了我们开放权重发布决策的框架。第一，我们力求不发布会拓展网络能力绝对前沿的开放权重。K3.1 Pro 的攻击性网络能力在设计上低于我们训练流程所能产出的水平，并且仍落后于前沿闭源模型。第二，我们打算逐步提高开放权重中可用的网络能力。我们认为，以非歧视性的方式提供 K3.1 Pro，有益于那些需要两用能力用于防御目的的人。当一个有能力的模型是开放的、并运行在用户自己控制的基础设施上时，更多团队便获得了审计其所维护代码的手段------包括那些很少接受专门安全审查的遗留系统。我们相信，让这种能力逐步扩散------而非集中在少数闭源系统中------最终会使所有软件更加安全。

可用性

Kimi K3.1 Pro 今日起在 Kimi 全系产品上线：Kimi.ai 和 Kimi 移动应用、Kimi Work 和 Kimi Code，以及通过 Kimi API 提供。

完整模型权重将于 2026 年 11 月 4 日前发布。

Kimi Enterprise 管理员可为其组织启用 K3.1 Pro；发布时该访问默认关闭。

各渠道详情：

Kimi Agents：从移动应用商店下载或更新至最新版 Kimi 应用，支持 iOS、Android 和 HarmonyOS，或访问 kimi.ai。

使用 Kimi K3.1 Pro 工作：下载最新版 Kimi Work 桌面应用，版本 3.1.0 或更高，支持 Windows 和 Apple 芯片 Mac。

使用 Kimi K3.1 Pro 编程：运行 Kimi Code，并使用 /model 命令选择 Kimi K3.1 Pro。

使用 Kimi API 构建：访问 Kimi API 平台并选择 kimi-k3.1-pro / kimi-k3.1-pro-highspeed。API 客户可享受零数据保留。

将 Kimi 引入您的组织：Kimi Business 提供企业级数据隐私和成员管理，个人账户与组织账户完全分离。访问定价页面并选择"Get Kimi Business"，为您的团队订阅。

基准测试

全球最先进水平以粗体表示；若其并非开源模型，则开源最先进水平以下划线表示。

| | Benchmark | Coding | Terminal-Bench 4.0 | Terminal-Bench Science 0.1 | SWE Marathon v1.1 | BenchCAD w/o tools | BenchCAD w/ tools | Program Bench | DeepSWE v1.1 | PostTrain Bench v1.2 | Kimi Code Bench 2.0 (Internal) | Kimi Code Bench 3.0 Long-horizon (Internal) | Agentic | HLE-Full w/ tools | BrowseComp | BioMysteryBench | CharXiv (RQ) w/ python | MMMU-Pro w/ python | GDP.pdf w/ python | ChartoGraphy w/ python | BabyVision w/ python | ZeroBench_main w/ python (pass@5) | Agents' Last Exam (ALL) | Agents' Last Exam (CLI) | Automation Bench-AA | GDPval-AA v2.1 (Elo-score) | AA-Briefcase v1.1 (Elo-score) | APEX-Agents | OfficeQA Pro v2 | OfficeQA Pro | Frontier Finance | Harvey Legal Agent | | Kimi K3.1 Pro (max) | Claude Fable 5.1 (max, with fallback) | GPT-6 Astra (max, with fallback) | Claude Opus 5.5 (max, with fallback) | DeepSeek-V4.1-Flash-1017 (max) | GLM-5.3 (max) |
| | | | | | |
| ++65.7++ | 57.9 | 58.2 | 66.4 | 42.3 | 41.8 |
| ++38.1++ | 40.0 | 68.1 | 63.3 | 15.7 | 8.1 |
| 51.7 | 45.6 | 42.5 | 46.3 | 40.0 | 42.5 |
| ++72.8++ | 60.6 | --- | 73.0 | 41.2 | --- |
| ++92.7++ | 92.6 | 95.9 | 96.2 | 81.6 | --- |
| ++31.5++ | 53.5 | 50.0 | 65.0 | 29.1 | 19.0 |
| 75.5 | 67.4 | 74.1 | 74.2 | 77.0 | 66.9 |
| ++36.5++ | 44.6 | 41.9 | 43.8 | 30.5 | 34.5 |
| 77.1 | --- | --- | --- | 76.1 | 61.7 |
| ++61.2++ | 58.8 | 66.5 | 58.5 | 51.5 | 45.5 |
| | | | | | |
| 70.0 | 65.6 | 57.2 | 67.7 | 58.8 | 62.5 |
| 92.1 | --- | 91.5 | 90.8 | --- | --- |
| ++80.6++ | 81.6 | 78.9 | 81.9 | 80.0 | 79.6 |
| ++93.4++ | 92.7 | 92.8 | 93.8 | 85.6 | --- |
| 90.0 | 88.4 | 87.8 | 89.8 | 82.5 | --- |
| 85.7 | 83.8 | 85.5 | 83.9 | 73.0 | --- |
| ++90.2++ | 88.4 | 91.0 | 89.0 | 83.0 | --- |
| ++95.4++ | 95.1 | 96.6 | 97.7 | 92.5 | --- |
| 63.0 | 59.0 | 58.0 | 61.0 | 51.0 | --- |
| 43.2 | --- | 32.8 | 42.6 | 37.7 | 26.2 |
| 44.2 | --- | 38.8 | 40.7 | 36.0 | 29.4 |
| 73.3 | 59.4 | 68.5 | 69.5 | 66.6 | 62.2 |
| ++1846++ | 1754 | 1573 | 1866 | 1746 | 1650 |
| ++1678++ | 1672 | 1569 | 1803 | 1570 | 1507 |
| ++67.2++ | 68.6 | 64.7 | 73.5 | 63.4 | 56.6 |
| 64.4 | 54.5 | 54.4 | 62.2 | 40.4 | 31.1 |
| ++67.4++ | 68.6 | 66.2 | --- | 62.4 | 58.6 |
| ++58.6++ | 60.8 | 45.0 | 56.7 | 54.5 | 57.5 |
| 23.7 | 19.1 | --- | --- | 21.0 | --- |
target="_blank">HANDBOOK.md | 44.6 | 38.8 | --- | 41.5 | 28.9 | 20.8 |
| ++79.6++ | 80.7 | 75.8 | 81.8 | 69.3 | --- |
| 37.8 | 30.7 | 32.3 | --- | 8.9 | 18.6 |
| 1456 | --- | 1423 | 1253 | 1231 | 1119 |
| ++957++ | --- | 1076 | 927 | 863 | 718 |
(Internal, lower is better) | ++8.3++ | 23.3 | 5.5 | 15.0 | 23.3 | 22.6 |
& Multimodal | | | | | | |
| 34.6 | 27.6 | 34.2 | 30.6 | 17.2 | 11.2 |
| ++51.1++ | 57.6 | 53.6 | 59.8 | 42.6 | 43.0* |
| ++39.4++ | 55.1 | 65.8 | 60.9 | 21.6 | 25.1* |
| ++94.2++ | 93.7 | 96.1 | 93.9 | 92.2 | 91.7 |
| ++89.0++ | 88.8 | 90.0 | 92.1 | 77.0 | --- |
| ++84.1++ | 86.3 | 86.9 | 87.7 | 80.6 | --- |
| ++29.8 / 39.0++ | 23.0 / 35.0 | 43.2 / 52.0 | 35.0 / 43.0 | 11.8 / 23.0 | --- |
| ++68.3++ | 63.0 | 77.6 | 72.1 | 47.7 | --- |
(Internal, lower is better) | ++5.4++ | 11.4 | 4.2 | 6.8 | 13.1 | 14.8 |
| | | | | | |
| ++74.7++ | 83.0 | 100 | 91.0 | --- | 54.4 |
| ++20.7++ | 30.4 | 42.4 | 34.5 | --- | 15.0 |

xdev-bench-hard (Internal)	81.0	---	---	---	85.7	57.1

脚注

除非另有说明，下文报告的所有 Kimi K3.1 Pro 结果均在推理力度设为"max"、temperature = 1.0、top-p = 0.95 的条件下获得。

编程基准

Terminal-Bench 4.0。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。DeepSeek-V4.1-Flash-1017 的分数取自其发布博客（https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017）。其余所有分数均取自其博客文章或 Terminal-Bench 4.0 官方排行榜（TERMINAL-BENCH）中报告的最高值。

Terminal-Bench Science 0.1。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。我们对 DeepSeek-V4.1-Flash-1017 的内部评估得分为 9.3；但较早版本 DeepSeek-V4.1-Flash 在官方 Terminal-Bench Science 上得分为 15.7，因此我们在此报告 15.7；其余所有分数均来自官方 Terminal-Bench Science 排行榜（TERMINAL-BENCH-SCIENCE）。

DeepSWE v1.1。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。所有分数均取自各模型对应的技术报告。GPT-6 Astra（https://openai.com/index/gpt-6-astra/）。Claude Opus 5.5 和 Claude Fable 5.1（https://www.anthropic.com/claude-opus-5-5-system-card 和 https://www.anthropic.com/claude-fable-5-1-mythos-5-1-system-card）；DeepSeek-V4.1-Flash-1017（DeepSeek-V4.1-Flash-1017: Wish-Driven Programming Made Real | DeepSeek API Docs）；GLM-5.3（https://z.ai/blog/glm-5.3）。

SWE-Marathon v1.1。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。DeepSeek-V4.1-Flash-1017 使用 ClaudeCode 测试框架进行评估。其余所有分数均取自 SWE-Marathon 官方排行榜（SWE-Marathon）。

PostTrainBench。Kimi K3.1 Pro 和 DeepSeek-V4.1-Flash-1017 在 v1.2 上使用 Claude-Code 测试框架和 H20 GPU（而非 H100 GPU）进行内部评估。为保证评估稳定，所有评判模型均使用 DeepSeek-V4.1-Flash-1017 并以最大推理力度运行，该设置在测试中与官方 GPT-5.6-Terra（xhigh）评判模型最为匹配。其他分数来自官方排行榜（PostTrainBench）。

ProgramBench（二元分数）。我们报告二元分数而非原始 ProgramBench 分数：若某任务的 ProgramBench 分数 ≥95%，则该任务得分为 1，否则为 0。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。DeepSeek-V4.1-Flash-1017 和 GLM-5.3 的分数取自其发布博客（https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017）；其余所有分数均来自 Vals ProgramBench 排行榜（ProgramBench Leaderboard and Methodology | Vals AI）。

内部编程基准：Kimi Code Bench 2.0 和 Kimi Code Bench 3.0 Long-horizon。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估；所有其他模型均在其最大推理力度设置下评估。请注意，闭源模型的测试可能涉及一些回退行为。

BenchCAD。开放模型由我们在从完整 17,900 个案例的 Vision2Code 数据集中随机抽样的 1,000 个案例子集上评估，采用最大推理力度。带工具的结果使用 Claude Code 测试框架；不带工具的结果使用官方 BenchCAD 提示词和评分流程进行单次生成。Claude Fable 5.1 和 Claude Opus 5.5 的分数取自 Claude Opus 5.5 系统卡；GPT‑6 Astra 的带工具分数取自其官方报告。GPT‑6 Astra 未报告不带工具的分数，标记为"---"。

智能体基准

BioMysteryBench 数据集取自官方 v11 发布版，以 Kimi K3 作为评判模型。我们使用 Kimi Code 评估 Kimi K3.1 Pro，使用 Claude Code 评估 GLM-5.3 和 DeepSeek-V4.1-Flash-1017，使用 Codex 评估 GPT-6 Astra。Claude 模型的分数直接取自其官方系统卡。

Our Agents' Last Exam 数据集取自官方 v1.1 发布版，包含 122 项任务，其中 86 项为 CLI 任务，环境镜像与官方 Hugging Face 发布版保持一致。我们还会对绕过任务既定要求的运行记零分，例如在线检索答案而非在 Wireshark 中执行所需分析。DeepSeek 和 Kimi 分别使用 Claude Code 和 Kimi Code 进行评估。其余所有结果均取自官方基准网站。

OfficeQA Pro、OfficeQA Pro v2。GPT-6 Astra 使用 Codex 评估，其余所有模型均使用 Claude Code 评估。每项任务向智能体提供整个 PDF 语料库，所有 PDF 均渲染为图像，不提供机器可读文本。我们观察到某些外部模型的轨迹中存在在线检索参考答案的情况；因此，我们对这些任务记零分。

Frontier Finance 使用官方 finance agent v2 测试框架进行评估。

HANDBOOK.md 使用基于 OpenHands 构建的官方测试框架进行评估，评估任务取自该基准的早期开源 v1 发布版。

Harvey Legal Agent 在包含 1,251 项任务的公开数据集上使用 Artificial Analysis 的 Stirrup 测试框架进行评估，性能以全通过率报告（即通过所有评分标准的任务百分比）。

OSWorld V2.1 在官方 OSWorld v2 仓库中使用 Kimi Agent 测试框架进行评估，GPT-6 Astra 的分数取自 Muse Wonder 的技术报告。

DECK-Arena 评估真实世界查询下的演示文稿生成，Design Bench 通过直接提示和参考图像少样本提示评估平面设计；两者均在集成搜索和图像生成的测试框架中跨 python-pptx、pptxjs 和 Kimi 内部 DSL 运行模型，使用基于 10,000+ 人类判断校准的自动评分器。

MCP Atlas。所有模型均在 500 项任务的公开子集上评估，限制 100 轮，使用 Gemini 3.1 Pro 作为评判模型。

BrowseComp。我们采用 Claude 模型卡中使用的上下文压缩策略，在 200K token 时触发。我们允许最多 500 步；若在任务完成前达到该限制，我们强制智能体提供答案，随后对其进行评判。所有 BrowseComp 运行均在 temperature=1.0 和 top-p=1.0 下进行。

GDPval-AA v2.1、AA-Briefcase v1.1 和 AutomationBench-AA 的分数引自 AI Model & API Providers Analysis | Artificial Analysis，Apex Agents 的分数引自 AI Agent Benchmarks & Leaderboards: APEX-Agents | Mercor

GDP.pdf w/ python、ZeroBench w/ python 和 ChartoGraphy w/ python 均为五次运行的平均值。其他多模态基准（w/ python）为四次运行的平均值。对于 GDP.pdf w/ python：每个原始 PDF 文件被发送到沙箱，模型可在其中使用 IPython 工具进行处理。最终回答使用 Gemini-3.5-Flash（中等推理力度）和官方评判提示词按每条评分标准进行评分。我们报告任务宏平均评分标准通过率：对每项任务，我们在五次独立运行中平均其通过的评分标准比例，然后在所有任务间对这些任务级分数进行等权平均。

推理与知识及多模态基准

GDP.pdf。每个 PDF 以最长边缩放至 1,152 像素的页面图像形式提供，并按页面顺序与 Docling 提取的文本交错排列。回答使用 Gemini-3.5-Flash Medium 和官方评判提示词按每条评分标准进行评分。我们报告完全评分回答中的严格通过率。

HLE 和 HLE-Diamond 评估通用知识与推理能力。我们报告完整评估集上的准确率，其中 HLE 为 2,500 道题，HLE-Diamond 为 1,000 道题。对于标有星号（*）的模型，准确率报告在纯文本题目子集上。

GDP.pdf、ZeroBench 和 ChartoGraphy 为五次运行的平均值。其他多模态基准为四次运行的平均值。GLM-5.3 Max 和 DeepSeek-V4.1-Flash-1017 Max 的 GDP.pdf 分数引自 AI Model & API Providers Analysis | Artificial Analysis。

MMMU-Pro 按照官方协议评估，保留原始输入顺序，并将图像置于文本输入之前。

Kimi Hallucination Benchmark 在内部一组取自实际工作任务、经过脱敏处理的挑战性提示上评估事实准确性。我们报告由事实核查智能体评估的主张级幻觉率。

网络安全基准

ExploitBench。Kimi K3.1 Pro 在 300 轮预算下使用官方 ExploitBench 测试框架进行评估。我们报告 pass@5 最大能力分数：对每个环境，取 5 个随机种子中最佳的一次运行，按达到的 16 项能力标志数量评分，其中实现任意代码执行计为达到全部 16 项能力。GPT-6 Astra 的分数取自 https://openai.com/index/gpt-6-astra/；Claude Opus 5.5 和 Claude Mythos 5.1 的分数取自 https://www.anthropic.com/claude-opus-5-5-system-card；GLM-5.3 的分数取自 https://z.ai/blog/glm-5.3。

ExploitGym。Kimi K3.1 Pro 在每项任务 6 小时挂钟预算下使用 KimiCode 测试框架进行评估。GPT-6 Astra 的分数取自 https://openai.com/index/gpt-6-astra/；Claude Opus 5.5 和 Claude Mythos 5.1 的分数取自 https://www.anthropic.com/claude-opus-5-5-system-card（6 小时预算）；GLM-5.3 的分数取自 https://z.ai/blog/glm-5.3。

xdev-Bench-hard：Kimi K3.1 Pro 使用 KimiCode 测试框架进行评估。GLM-5.3 和 DeepSeek-V4.1-Flash-1017 使用 Claude Code 测试框架进行评估。