OpenAI 等支持 robots.txt 共享 AI 训练偏好信号：policy token 一次声明多厂商，落地仍待实现
摘要 ：2026 年 10 月 30 日，OpenAI 宣布将尊重 robots.txt 中的共同信号 ，让网站运营者表达内容是否可用于 foundational generative AI training 的偏好；同日 Google Search Central（John Mueller）称计划支持基于 IETF AIPREF 的共享 AI training control。信号用普通 User-Agent 行上的 policy token （草案示例
__usage_ai-training）一次面向多个参与方。OpenAI aim to implement in the coming months ；Google aim to support in 2027 。IETF 相关草案为 Internet-Draft（individual） ，非 已批准标准。共享信号不替代现有 robots.txt 爬虫控制。按【事实】【分析】【预测】梳理。
标签 ：人工智能 · aigc · 机器学习 · 深度学习
开篇
【事实】OpenAI 于 2026-10-30 发布博客 Helping websites express AI training preferences （OpenAI 官方）：将尊重 robots.txt 中的共同信号 ，使网站运营者能表达内容是否可用于 foundational generative AI training 的偏好。机制为自愿 ；一次信号可面向多个参与方；以往需按各爬虫分别维护规则。官方写明 aim to implement in the coming months ，届时再发实现细节；并强调该信号不替代 现有 robots.txt 爬虫控制------现有 crawler controls 继续适用并被尊重。工作基于 IETF AI Preferences（AIPREF） working group 的进行中工作；当日与其他参与方一起宣布该共享信号，并鼓励其他 AI 提供商也尊重。
【事实】同日，Google Search Central 博客 A shared signal for AI training preferences （John Mueller，developers.google.com）称：计划支持 robots.txt 中的共享 AI training control，基于 IETF AIPREF；建立在自 2023 年起的 Google-Extended 之上。网站用共享 policy token 选择退出训练、且未显式指定 Google-Extended 时，Google 计划将其解释为等同 disallow Google-Extended。公司特定控制（如 Google-Extended）与联合信号并存 ；显式允许 Google-Extended 的站点仍可出现在 Gemini Apps grounding 响应并获得点击。叙述与 EU GPAI Code of Practice（认可 robots.txt）一致。时间表：aim to support in 2027（与其他提供商一起），并会更新进展。
【分析】相较本专栏昨日主事件「OpenAI 更新 Model Spec 五大价值观 」（偏行为规范文本与忠实人类意图），今日稿落在「爬虫 / 训练数据采集偏好如何用 robots.txt 一次声明」。一句对照即可：昨日偏「模型应按什么价值观行动」，今日偏「网站如何向多厂商表达训练用途偏好」；二者回答不同问题。勿写成 Agent 落地教程（最小权限工具面 / 白名单 / 审批分级）------那是技术分享线；本稿是资讯向。
共享信号怎么声明：policy token 与旧规则对照
【事实】IETF 个人提交草案 draft-kelley-aipref-training-preference-signal-00 （2026-10-30，作者 Kevin Kelley / Anthropic；datatracker）提出：用普通 robots.txt User-Agent 行上的 policy token 绑定用途偏好；不引入新指令名或新语法 。定义 token：__usage_ai-training（双下划线前缀）。示例形态为 User-Agent: __usage_ai-training 配 Disallow: /（可加 Allow 例外，如 /press-kit/）。语义：Disallow → 反对该用途；Allow → 赞成；无该 token 组 → 未表达偏好。另明确：User-Agent: * 不得 解释为匹配该 policy token。这是 Internet-Draft（individual） ，非 IETF 已批准标准，无正式标准地位------正文必须写清，勿写成 RFC 或已定稿标准。
【事实】OpenAI 官方强调自愿、一次面向多方；不替代现有按爬虫名维护的控制。Google 侧则把共享退出（且未显式写 Google-Extended）计划解释为等同 disallow Google-Extended，同时保留公司特定控制与联合信号并行的路径（Google Search Central）。
【分析】工程读法可拆三层，保持资讯对照：（1）声明层 ------从「每个爬虫 UA 各写一套」到「用途 token 写一套」，降低站点维护成本，但依赖各厂商是否真正尊重；（2）语义层 ------有 token 组才算表达偏好，缺省≠同意也≠拒绝，避免把「没写」误读成许可；（3）兼容层 ------* 不匹配 policy token，公司特定控制仍可并存，旧规则不会被自动抹掉。未公开的：具体解析器兼容百分比、某站已部署样本量、各厂商爬虫日志字段------本条新闻无，不编造。
【预测】成稿日后可观察：站点模板与 CDN 是否开始给出 __usage_ai-training 示例；厂商实现细节博客是否按「coming months / 2027」分别落地。均为外部观测预期，非官方承诺。
谁宣布了什么、何时落地、边界在哪
【事实】时间与范围（官方，勿合并成「已全部上线」）：
| 主体 | 官方要点 | 时间表述 |
|---|---|---|
| OpenAI | 尊重共同信号；自愿；不替代现有 crawler controls；基于 IETF AIPREF | coming months，再发实现细节 |
| 支持共享 AI training control；建于 Google-Extended；并存公司特定控制 | aim to support in 2027 | |
| IETF 草案 | __usage_ai-training policy token；Disallow/Allow/缺省语义；* 不匹配 |
Internet-Draft（individual），非正式标准 |
【事实】媒体可辅读（注明媒体，定义以官方为准）：The Verge 等报道 OpenAI / Google / Microsoft / Anthropic 将采纳相关方向；Anthropic 已采用该信号；Google 与 Microsoft 计划明年支持；OpenAI 称 coming months。Meta 通讯负责人表示支持「创建共同信号」并期待与业界合作------勿写成 Meta 已承诺立即实施。引用时标注媒体；实现细节与时间表仍以各厂官方为准。
【事实】关键边界再强调三句：（1）共享信号尚未 由 OpenAI 立即生效（coming months）；（2）Google 明确指向 2027 ；（3）草案非正式标准。另：不替代现有 robots.txt 爬虫控制；现有控件继续被尊重。禁止编造具体实现上线日、解析器兼容百分比、某站已部署数据、Meta 已落地、已成 RFC、定价、评测分数。
【分析】边界读法：（1）「宣布支持共享信号」≠「今日起所有训练管道已按新 token 过滤」；（2）Google-Extended 与联合信号并存＝站点仍可做更细的公司级控制；（3）媒体「多方将采纳」是方向综述，落地节奏按厂拆开读。昨日 Model Spec 是行为规范文本更新；今日是采集偏好信号------勿混成同一叙事。
【预测】短期内更可能看到的是：Search Central / OpenAI 后续实现细节更新、站点主站 robots 模板讨论、以及 EU GPAI 合规叙事下的「robots 作为认可通道」解读帖。未披露的精确上线日与内部爬虫映射表不猜测。
给中文开发者的读法
【事实】可直接打开的入口：OpenAI 宣布页（2026-10-30）、Google Search Central 博客（2026-10-30）、IETF datatracker 上 draft-kelley-aipref-training-preference-signal-00。当前公开状态是 多方宣布尊重/计划支持共享信号 + 草案文本，不是「全球已强制生效」或「已成 IETF 标准」。
【分析】落地选型时建议分四层读，保持资讯对照：（1）信号层 ------是否在 robots.txt 增加 __usage_ai-training 组表达训练偏好；（2）并存层 ------是否仍保留 GPTBot、Google-Extended 等公司特定规则；（3）缺省层 ------无 token 组＝未表达偏好，产品与法务文案勿擅自写成「默认允许/禁止」；（4）时间层------OpenAI coming months、Google 2027、草案非标准------对外承诺与客户 FAQ 必须对齐这三条。去重提醒：本稿不是昨日 Model Spec，不是 Agent 最小权限工具面教程，也不是 Genie 4 / Gemini 4 Carbon / LiteLLM / OpenCode 密钥等已发主题。
【分析】适用与不适用的粗边界（工程判断，非官方承诺）：更新站点 robots 模板、向法务解释「训练用途偏好 vs 爬虫访问控制」、评审内容授权与 grounding 是否拆开配置，最贴近官方叙述；若需要「今天就声称全球训练已按新信号全量过滤」「把草案当 RFC」「写 Meta 已立即落地」或「编造兼容率/部署站点数」，当前官方边界会直接卡脖子。
【预测】若中文社区跟进，优先看三件事：开源站 / 文档站是否给出可复制的 token 片段；各云与 CDN 控制台是否出现「AI 训练偏好」开关（有则再核是否真写 robots）；厂商实现细节博客是否按时间表分别出现。未公开数字与区域条款不编造。
小结
【事实】2026-10-30，OpenAI 宣布将尊重 robots.txt 中面向 foundational generative AI training 的共同偏好信号（自愿、一次多方、coming months 再发实现细节、不替代 现有爬虫控制）；Google 计划支持基于 IETF AIPREF 的共享 AI training control（建于 Google-Extended、与公司特定控制并存、aim 2027 ）。草案用 User-Agent 行上的 policy token __usage_ai-training，不引入新指令语法；Disallow/Allow/缺省语义明确；* 不匹配该 token。草案为 Internet-Draft（individual），非正式标准。媒体辅读写多方将采纳、Anthropic 已采用、Meta 支持创建共同信号------勿写成 Meta 已立即实施。未披露具体上线日、兼容百分比、站点部署数据、RFC 地位、定价、评测分数。
【分析】若把近几日专栏理解为「行为规范文本更新 / Agent 运行时治理」，今日稿落在 训练数据采集偏好的共享 robots 信号 。对中文开发者立刻可记的一行：policy token 一次声明多厂商；OpenAI 尚未立即生效（coming months）；Google 指向 2027；草案非标准；不替代现有 crawler controls------资讯向，勿写成已全球强制或落地长教程。
主要参考资料
- OpenAI, Helping websites express AI training preferences (2026-10-30) --- https://openai.com/index/helping-websites-express-ai-training-preferences
- Google Search Central, A shared signal for AI training preferences (John Mueller, 2026-10-30) --- https://developers.google.com/search/blog/2026/10/ai-training-control
- IETF Internet-Draft, draft-kelley-aipref-training-preference-signal-00 (2026-10-30, Kevin Kelley / Anthropic) --- IETF datatracker
- The Verge 等（媒体辅读，注明媒体；定义与时间表以官方为准）--- 多方将采纳 / Anthropic 已采用 / Meta 支持创建共同信号（勿写成 Meta 已立即实施）