LLMs.txt：AI时代网站的"智能身份证"

nine｜践行一人公司

开发、引擎、交付------基于Agent的倍速造产品流。

正在记录从 0 到 1 的踩坑与突破，交付想法到产品的全过程。

当AI模型因HTML冗余代码浪费50%上下文窗口时，LLMs.txt正成为网站与AI对话的新语言。这个轻量级标准已被Anthropic、Cursor等企业采用，让AI理解内容效率提升3倍。

一、重新定义网站与AI的对话方式

LLMs.txt是专为大语言模型设计的内容标准，包含两个核心文件：

• /llms.txt：精简导航视图，类似网站"目录"
• /llms-full.txt：完整文档内容，采用Markdown格式

与传统标准形成互补生态：

pie title 网站三大内容标准功能分布 "robots.txt (爬虫权限)" : 30 "sitemap.xml (索引结构)" : 25 "LLMs.txt (AI理解优化)" : 45

二、破解AI处理网页的三大痛点

传统网页让AI面临三重挑战：

1. 上下文窗口浪费：HTML冗余内容占比超60%
2. 信息结构混乱：导航栏/广告等非核心内容干扰理解
3. 格式不兼容：HTML标签增加AI解析难度

标准结构示例：

# 项目名称  
> 项目简介与背景  
## 核心文档  
- [快速开始](url)：新手引导  
- [API参考](url)：接口参数说明  

三、从提案到行业实践的落地路径

该标准由Answer.AI联合创始人Jeremy Howard提出，目前已形成商业闭环：

• 工具层：Mintlify自动生成文件，llmstxt.firecrawl.dev提供在线生成
• 应用层：Cursor编程工具通过LLMs.txt实现代码-文档实时关联

生成流程：

graph TD A[输入网站URL] --> B[系统抓取核心内容] B --> C[Markdown格式转换] C --> D[生成llms.txt/llms-full.txt]

未来适配建议

三类主体需优先布局：

• 技术文档站点：提升API被AI引用的精准度
• 内容平台：优化AI摘要生成质量
• 企业官网：确保品牌信息被AI准确理解

随着Claude、Cursor等工具的深度集成，LLMs.txt正从可选配置变为AI时代的"基础设施"。