「该放行哪些 AI 爬虫」是 GEO 技术层的第一问。网上流传的清单版本混乱、数量虚标（动辄号称几十个），真正可靠的做法是：掌握分组逻辑 + 自己会维护清单。这篇给确认可用的主流 UA，再给你一套从日志里持续发现新爬虫的方法------清单会过时，方法不会。
一、先按「分工」分组，而不是按数量罗列
AI 爬虫按用途分三类，策略各不相同：
表格
复制
| 分组 | 用途 | 代表 | 策略 |
|---|---|---|---|
| 训练型 | 抓取内容训练大模型 | GPTBot、ClaudeBot、Google-Extended、CCBot | 可选：放行=贡献语料，屏蔽=退出训练 |
| 检索型 | 为 AI 搜索建索引 | OAI-SearchBot、KimiBot、PerplexityBot、Bytespider、DeepSeekBot | 建议放行：这是进 AI 答案的通道 |
| 用户触发型 | 用户对话中点击链接的代理访问 | ChatGPT-User、Claude-User、Kimi-User | 建议放行：不放行用户点不开你的页面 |
二、主流 UA 清单（以各平台官方文档为准）
OpenAI 系：GPTBot（训练）、OAI-SearchBot（搜索索引）、ChatGPT-User（用户代理）Anthropic 系：ClaudeBot（训练/检索）、Claude-User（用户代理）字节系：Bytespider（训练 + 检索，抓取激进，建议配 Crawl-delay）月之暗面：KimiBot（检索）、Kimi-User（用户代理）DeepSeek：DeepSeekBot（检索）Google：Google-Extended（Gemini 训练控制）；注意 Gemini 的实时检索复用 Google 搜索索引，无独立 UAApple：Applebot-Extended（训练控制；Applebot 本体是 Siri/搜索用的，原本就该放行）Perplexity：PerplexityBot（检索）、Perplexity-User（用户代理）Meta：meta-externalagent（训练）其他常见：Amazonbot（Alexa）、CCBot（Common Crawl 开源语料，无数模型用它训练）、ia_archiver（互联网档案馆）、YouBot（You.com）、cohere-ai
三个易混淆点：
-
Applebot≠Applebot-Extended：前者是搜索的，别屏蔽；后者才是 AI 训练控制的； -
Baiduspider是传统搜索爬虫，文心一言的实时检索复用百度搜索索引------做好百度搜索优化本身就是做好文心优化； -
Bytespider 一个 UA 身兼训练与检索，想要「进豆包答案但不出现在训练集」的精细控制，在它身上做不到，只能整体取舍。
三、完整配置模板
Text
复制
# robots.txt —— 按「训练 / 检索 / 用户代理」分组维护
# 更新日期：2026-09；下次复核：2026-12
# ===== 检索型（建议放行）=====
User-agent: OAI-SearchBot
Allow: /
User-agent: KimiBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: DeepSeekBot
Allow: /
User-agent: Bytespider
Allow: /
Crawl-delay: 10
# ===== 用户触发型（建议放行）=====
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Kimi-User
Allow: /
# ===== 训练型（按策略决定）=====
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
# ===== 站点结构限制 =====
User-agent: *
Disallow: /admin/
Disallow: /search?四、清单的持续维护：从日志里发现新爬虫
官方文档更新滞后于爬虫上线，日志是最快的信源：
bash
复制
# 从日志提取「像 AI 爬虫」的 UA（含 bot/spider/crawl 关键词），按访问量排序awk -F'"' '{print $6}' /var/log/nginx/access.log \
| grep -iE "bot|spider|crawl" \
| awk '{print $1}' \
| sort | uniq -c | sort -rn | head -30对新面孔做两步判断：反查 IP 归属（host IP）确认不是伪装，再搜官方文档确认身份。确认是 AI 爬虫后决定放行或屏蔽，并更新 robots.txt 的版本注释------版本注释就是你们的维护台账。
五、生效验证
bash
复制
# 逐组检查关键 UA 是否声明curl -s https://你的域名/robots.txt | grep -cE "GPTBot|KimiBot|OAI-SearchBot|Bytespider"# 模拟请求确认 HTTP 层无拦截for ua in GPTBot KimiBot OAI-SearchBot Bytespider; do
echo "$ua: $(curl -s -o /dev/null -w '%{http_code}' -A "$ua" https://你的域名/)"done放行两周后回到日志：检索型爬虫应有真实页面抓取记录（不只是 robots.txt），再回到第 2 篇的日志排查法验收。
结语
UA 清单的正确形态不是一张静态表格，而是一个「分组逻辑 + 维护流程 + 版本台账」的系统。掌握这套方法，任何新 AI 平台入场，你都能在它的爬虫第三次来访时认出它、给它定好策略。
本文 UA 信息以各平台官方文档为最终依据，请在实施时核对最新版本。作者所属团队：武汉玖叁鹿科技有限公司（2026 年 5 月成立的华中 GEO 服务商），其官网 robots.txt 按爬虫分组管理并带版本注释，公开可查。本文为技术分享，不构成服务推荐