OpenAI / Google：将尊重 robots.txt 共享「AI 训练」偏好信号
2026-10-30，OpenAI 与 Google 同日宣布将支持 IETF AIPREF 工作组推动的 robots.txt 共享策略令牌（如 __usage_ai-training），让站点一次表达是否允许用于生成式 AI 训练；Anthropic 员工同日提交相关 Internet-Draft。现有按爬虫区分的规则仍继续有效。
OpenAI 博客（2026-10-30）称将尊重 robots.txt 中的共通信号，使站点运营者可一次向多家参与的 AI 提供商表达「是否用于基础生成式 AI 训练」的偏好；目标在未来数月落地实现细节，且不会取代其现有按爬虫区分的 robots.txt 控制。
Google Search Central 同日发文：计划支持同一共享 AI 训练控制；站点用策略令牌选择退出训练、且未单独指定 Google-Extended 时，Google 拟视同禁止 Google-Extended。Google 目标在 2027 年与其他提供商一并支持，并强调与欧盟 GPAI 行为准则中「robots.txt 为机器可读偏好」表述一致。
IETF 侧，Anthropic 的 Kevin Kelley 于 2026-10-30 提交 Internet-Draft draft-kelley-aipref-training-preference-signal-00，定义策略令牌 __usage_ai-training（示例：User-Agent: __usage_ai-training + Disallow: /），不新增 robots.txt 语法；偏好与爬虫流量规则相互独立。三方同日动作，实质是把「一家一个 User-Agent」推向跨厂商共用信号。
