什么是 LLMs.txt？
llms.txt文件是一个拟议标准，旨在帮助大型语言模型（LLM）更好地理解和使用网站内容。
以下是官方规格：
这个想法很简单：你不让AI爬虫在你的网站上乱逛，而是给它们一份精心整理的最重要的内容清单。告诉AI你网站上应该关注哪些内容。
我们已经有了robots.txt和网站地图等标准，帮助搜索引擎更高效地浏览网站。llms.txt的区别在于它专门为可能利用你的内容回答问题或生成用户回复的AI模型设计。
还有猜测认为，实施llms.txt可能让网站在AI生成的回复中获得更多曝光，并可能带来更多推荐流量。
在我们拆解llms.txt并决定是否值得实施之前，先了解为什么有必要创建另一个网络标准。
LLMs.txt想解决什么问题？
llms.txt旨在帮助AI爬虫更有效地浏览网站。目前，这些爬虫面临两个主要挑战：
- 现代网站很难阅读。大多数AI爬虫只能读取你页面的基本HTML，无法读取JavaScript加载的内容。这意味着llms.txt提供了清晰、结构化的格式，帮助AI爬虫快速消化信息。
- 大多数网站信息过于繁杂。当AI爬虫访问你的网站时，它们不一定知道什么才是重要的。如果它们花时间抓取无用的页面（比如旧博客文章），可能会生成基于次优information---llms.txt帮助解决这个问题的回复。
llms.txt也可能减少大型语言模型训练中的低效。
训练大型语言模型涉及巨大的计算成本。有了llms.txt指导，大型语言模型更不可能在无关内容上浪费资源。
LLMs.txt文件是如何结构的？
根据拟议标准，llms.txt文件应在Markdown中进行结构化和格式化。
Markdown 是一种轻量级标记语言，使用纯文本格式化语法创建结构化文档。（这和开发者在 GitHub README 文件中使用的格式相同，AI 系统很容易解析。）
你在llms.txt文件中常用的一些Markdown元素包括：
#代表 H1 航向，##代表 H2，###代表 H3，依此类推>块引用以突出重要描述-或*表示无序列表中的项目符号[正文](链接)用于超链接至您的内容：在链接旁边添加描述，帮助解释链接的通向- 在分享技术示例时，代码块用
""表示
官方llms.txt规范提供了一个非常基础的示例，说明你的文件可能是什么样子。但如果你的网站规模庞大或复杂，你可能需要增加更多结构------比如用H3和H4创建子板块，加入表格来组织数据，或包含代码片段来展示API的使用。
这没什么不对。Markdown 文件完全可以被 AI 爬虫读取，所以只要你使用有效的语法，就很安全。额外的结构实际上可能为AI爬虫提供更多背景。
以下是基本规范的简单示例：
bash
# Company Name
> Brief description of what your company does
## Products
- [Product 1](https://example.com/product-1): Description of this product
- [Product 2](https://example.com/product-2): Description of this product
## Documentation
- [Getting Started](https://example.com/docs/getting-started): Introduction to our platform
- [API Reference](https://example.com/api): Complete API documentation品牌是否采用LLMs.txt标准？
是的，一些面向SaaS和开发者的公司已经在他们的网站上使用llms.txt文件。
不过，整体采用方式相当小众。据NerdyData统计，截至2025年7月，只有951个域名（网络上的极小部分）发布了llms.txt文件。
以下是一些公司的示例：
| 品牌 | 该文件关注的内容 | 整体结构 |
|---|---|---|
| Hugging Face | 开发者文档 | 使用多层标题（#、##、###、####）将内容拆分为不同的部分。书中还包含完整代码示例、大量链接和实用笔记。总体来说，它感觉是一个全面的知识库。 |
| Vercel | 开发者文档 | 以顶部的描述性行开头，如标题、描述和标签，以便对接下来的具体文档有个概念。它使用清晰的标题（#、##、###）将内容组织成逻辑部分。在每个章节下方，你都会找到逐步说明和实用代码示例。 |
| Zapier | 开发者文档 | 使用少量标题，构建非常基础的结构。它主要由一长串链接和描述组成，帮助解释它们的通向。 |
| Cal.com | 开发者文档 | 顶部用标题（#，##），然后直接跳到一长串链接。这些链接没有分组成章节，也没有小标题、摘要或描述。 |
注意每家公司处理llms.txt文件的方式有多么不同。它们各自使用不同的结构。
这没什么不对。只要使用有效的Markdown，文件机器可读，AI系统也能轻松处理。
而且，这些公司都没有专门针对他们整个网站的档案。那是他们个人的选择。你可以创建一个专注于整个网站或特定部分的文件。
你应该在网站上使用LLMs.txt吗？
除非你只是好奇想尝试，否则现在用llms.txt可能不值得你花时间。
llms.txt目前只是一个被提议的标准，而非主要AI公司实际使用的标准。
像OpenAI、Google或Anthropic这样的大型语言模型公司都没有官方表示他们在抓取网站时会跟踪这些文件。
谷歌的 John Mueller 也在Bluesky上证实了这一点：
如果你也想在自己的网站上尝试llms.txt，请按照以下步骤作。
如何创建LLMs.txt文件（一步步）
这是技术性质的，因此最好让开发人员参与进来，按照以下三个步骤作：
1. 决定你想展示的内容
在创建文件之前，确定网站哪些页面或部分应被高亮用于AI爬虫。
假设你想为整个网站创建一个llms.txt文件。至少，考虑你的：
- 产品或服务页面
- 最新博客文章
- 定价页面
- 关于我们页面
- 联系方式页面
这些页面通常能让AI了解你的业务内容以及你如何帮助客户。
2. 创建文件
打开像记事本或Visual Studio Code这样的文本编辑器，创建一个名为llms.txt的新文件。
你需要用Markdown格式化文件。同样，开发者在创建文件时很有帮助。
文件的结构可能如下：
bash
# Website Name
> Brief description of your website
Important notes:
- Key differentiator or important detail about your business
- Another important note about what you do or don't do
- Third key point that helps define your offering
## Products
- [Product name 1](https://example.com/product-1): Short description of your product's main feature and benefit
- [Product name 2](https://example.com/product-2): Short description of your product's main feature and benefit
- [Product name 3](https://example.com/product-3): Short description of your product's main feature and benefit
## Blog Content
- [Blog post title 1](https://example.com/blog-post-1): Brief description of what this blog post covers and why it's useful
- [Blog post title 2](https://example.com/blog-post-2): Brief description of what this blog post covers and why it's useful
- [Blog post title 3](https://example.com/blog-post-3): Brief description of what this blog post covers and why it's useful
## Company
- [About us](https://example.com/about): Company background, mission, and team information
- [Contact](https://example.com/contact): How to reach our team and get in touch
- [Pricing](https://example.com/pricing): Overview of plans, features, and costs for using our products3. 将文件上传到您的网站
把你完成的文件放在正确的位置，这样AI爬虫理论上就能找到它。
具体位置取决于你llms.txt档案的范围：
- 如果覆盖了整个网站，请上传到根目录（即"https://[你的域名].com"），这样可以访问到"https://[yourdomain.com]/llms.txt"。
- 如果文件专门涉及文档，请将其置于相应的子目录中（例如，"https://[docs.yourdomain.com]/llms.txt）
你需要开发者的帮助才能真正上传文件。这个文件必须放置在你的服务器上------通常通过你的网站托管控制面板，比如cPanel。
登录你的主机提供商，然后进入cPanel>文件管理器。
然后去正确的目录。如果你的llms.txt文件是针对整个网站的，请进入public_html/文件夹。（那是大多数域名的根目录。）
如果是像"https://[docs.yourdomain.com]这样的子域名，可以导航到分配给该子域名的文件夹------通常叫 /docs/ 或类似名称。
上传你的llms.txt文件并保存更改。
文件上传后，打开新标签页直接访问该网址，确认一切正常。
您还可以在Semrush的Site Audit工具中对您的网站进行快速审计，以确认您的llms.txt被正确接收。
另外，别忘了随时更新文件。定期检查链接以删除过时页面。并且添加你添加到网站的新内容链接。