诸神缄默不语-个人技术博文与视频目录
诸神缄默不语的论文阅读笔记和分类
文章目录
- [1. 论文简介](#1. 论文简介)
- [2. AGENTS\.md](#2. AGENTS.md)
- [3. 论文构建思路](#3. 论文构建思路)
- 参考资料
1. 论文简介
论文全名:Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
论文下载地址:https://arxiv.org/abs/2602.11988
论文最新修改日期:2026.2.12
核心结论:LLM生成的AGENTS.md(仓库级上下文规则文件)反而会降低AI编程智能体的生成效果,人工编写的AGENTS.md能够带来少量效果提升,但成本会大幅增加。因此,现阶段建议只通过人工编写必要的AGENTS.md(如特定工具的使用说明)。
2. AGENTS.md
本文提到的AGENTS.md泛指各种仓库级上下文规则文件,不管它叫AGENTS.md、CLAUDE.md还是rules.md。
AGENTS.md是一个markdown语言编写的项目文档,主要用于给 AI 编程 Agent 提供项目说明和操作规则。是给AI读的。
一般放在项目根目录下。
内容可以包括:
- 项目怎么运行
- 如何构建和测试
- 代码风格和规范
- 提交代码时的规则
- 不允许做的事情
如:
- 项目环境
- Node / Python / Java 版本
- 框架版本
- 开发命令
- 安装依赖
- 启动服务
- 构建项目
- 测试流程
- 单元测试命令
- CI 流程
- 代码规范
- 是否使用 semicolon
- lint 规则
- 格式化方式
- PR / Git 规则
- commit message 规范
- PR 流程
- 特殊限制
- 哪些目录不能修改
- 哪些文件必须更新
示例:
md
# AGENTS.md
## Environment
Python 3.11
FastAPI
Poetry
## Setup
poetry install
## Run server
poetry run uvicorn app.main:app --reload
## Tests
pytest
## Code Style
- black formatter
- line length 88
- use type hints
Trae CN中可以自建rules.md,也可以引入AGENTS.md/CLAUDE.md。就在设置 - 规则与技能中,上面是引入AGENTS.md/CLAUDE.md,中间的"个人规则"是整个电脑下所有Trae CN都会共享的全局配置,下面的"项目规则"则与AGENTS.md更类似,是本项目下的上下文规则文件:

3. 论文构建思路
故事线
现在AGENTS.md很火,但是还没有研究去验证它的实际效果。本文验证了"LLM生成AGENTS.md"(通过/init生成)和"手工编写AGENTS.md"两种方式的效果,包括对任务成功率、完成任务的成本(执行调用工具的步骤数和token消耗账单)、测试深度的影响。
数据集
- SWE-BENCH LITE:无AGENTS.md
- (新建)AGENTBENCH:有AGENTS.md,任务是根据PR描述生成代码
实验用的agent和模型
- Claude Code + Sonnet-4.5
- Codex + GPT-5.2 / GPT-5.1 Mini
- Qwen Code + Qwen3-30B-Coder
实验结论
- LLM生成的上下文文件(包括更换模型、更换提示词模版时)没有稳定提高准确率,同时增加超过20%的推理成本
- 开发者编写的上下文文件仅带来4%的边际性能提升,但同样显著增加成本;
- 但是在缺乏文档的仓库中,LLM生成的AGENTS.md提升了生成效果
- 写入指定工具是有用的(如uv在文件中被提及时代理使用次数从<0.01次增至1.6次)(我在这里说一下,我就在上下文规则里强调了要用uv,还是有用的)
- 但写入指定文件没用
- 上下文文件中的冗余指令和过度要求反而增加了任务复杂度,导致智能体需要更多推理 token 和探索步骤。
参考资料
参考了papers.cool的论文解读和ChatGPT对AGENTS.md的解读
