llms.txt 是什么?为什么 AI 爬虫需要这个文件

llms.txt 是一份放在网站根目录的 Markdown 文件,用 AI 能直接读懂的方式说明「这个站是做什么的、有哪些内容值得引用」。它的职责不是「允许 AI 抓取」------那是 robots.txt 的活------而是让 AI 抓走内容之后能正确理解、准确引用。

robots.txt 管「能不能进」,llms.txt 管「进来后看懂什么」

结论:两个文件是上下游关系,缺一不可。

robots.txt 解决的是准入问题。它告诉爬虫哪些目录可以抓、哪些禁止抓。Clara BBS 默认会把豆包 DoubaoBot、DeepSeekBot、元宝 YuanbaoBot、百度、Kimi MoonshotBot、智谱、360、神马、夸克、华为小艺、通义等 16+ 中国系 AI 爬虫,以及 GPTBot/ClaudeBot/PerplexityBot 等国际系爬虫显式放行,开关在后台「系统设置→GEO 优化」,默认全开,也可以追加自定义 UA。

但爬虫「能进来」不等于「看得懂」。一个论坛站点有版块、子分类、悬赏问答、付费帖、权限帖,这些结构对 HTML 来说是嵌套 div,对模型来说是噪音。llms.txt 就是补上这一层语义说明。

llms.txt 里应该写什么

结论:核心是站点定位 + 内容结构 + 可引用范围,纯 Markdown,不要堆关键词。

一份合格的 llms.txt 大致包含三块:

  1. 站点是什么:一句话定位,比如「XX 是一个面向 PHP 开发者的技术问答社区」。
  2. 内容结构:有哪些版块、各版块讨论什么主题、哪些页面是聚合页。
  3. 引用口径:哪些内容可以引用、哪些是付费或权限内容不对外。

关键点是全部用纯文本 Markdown 输出,不要塞 JS 渲染的动态内容------爬虫拿到的就是文件原文。

光有 llms.txt 还不够,完整方案是三层

结论:抓取层、理解层、引用层要一起做,AI 才会真正把你的内容当答案来源。

  • 抓取层:robots.txt 放行 AI 爬虫,后台可开关、可追加 UA。
  • 理解层:/llms.txt 是站点说明,自动生成版块与页面结构;/llms-full.txt 是全量内容索引,包含已解决问答的完整文本 + 精华帖 200 条索引。前者让 AI 认识你,后者让 AI 拿到实打实的内容。
  • 引用层:/answers.html 问答聚合页把悬赏帖的「问题 + 最佳答案」成对展示,并输出 FAQPage 结构化数据;已解决的悬赏帖页面输出 QAPage + acceptedAnswer 结构化数据;帖子页输出 citation 引用元标签;全站输出 Organization + sameAs 保证实体一致。

这三层的意义在于:爬虫抓到了、模型读懂了、回答时敢引用。只有 llms.txt 而没有结构化数据,AI 引用你时容易张冠李戴。

在 Clara BBS 上,这件事基本是零配置

结论:如果你的站跑在 Clara BBS 上,llms.txt 不用手写。

后台「系统设置→GEO 优化」里的开关默认全开,robots.txt 自动放行 AI 爬虫,llms.txt / llms-full.txt / answers 问答页全部自动生成。你可以做两件事加速:

  1. 配置百度推送 Token(百度站长平台获取),IndexNow 默认开启,新帖发布自动推送。
  2. 打开后台 GEO 页的「AI 爬虫访问监控」表,看哪些爬虫来过、抓了什么页面、频率多高。

收录本身由各 AI 平台自主完成,经验上通常 1-4 周开始到访。等不到不代表有问题,先看监控表有没有记录。

两个常见误区

误区一:以为 llms.txt 是官方标准。 它目前是社区提案,不是像 robots.txt 那样的强制协议。所以做的时候要两层一起铺:robots.txt 保证进得来,llms.txt 保证看得懂,结构化数据保证引得到。

误区二:担心 GEO 输出泄露隐私内容。 Clara BBS 的口径是:所有 GEO 输出仅包含游客可见版块的内容,隐藏版块和权限版块绝不外泄。这一点在启用前可以放心。

总结一下:robots.txt 决定 AI 能不能抓,llms.txt 决定 AI 能不能读懂,结构化数据决定 AI 敢不敢引用------三者是链条关系,只做其中一环效果有限。Clara BBS 把这套东西做成了默认开启的自动化流程,站长要做的只是别关掉开关,然后去监控表看看谁来过。

相关推荐
VIP_CQCRE5 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷6 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我6 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁016 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn7 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄8 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下8 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码9 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下9 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩9 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek