OpenAI、Google、微软、Anthropic 联合支持 robots.txt 统一 AI 训练退出信号 __usage_ai-training：Anthropic 已开始落地，微软 2027 年 2 月 1 日生效

核心背景与行业痛点

过去两年，网站想拒绝 AI 训练，只能在 robots.txt 里逐个列出各家爬虫：GPTBot、ClaudeBot、Google-Extended……每多一家模型厂商就要多维护一组规则，而且很多站点根本不知道新爬虫的名字。新闻出版商为此和 AI 公司打了不少官司，欧盟《通用 AI 模型行为准则》也把 robots.txt 认作表达机器可读偏好的主要方式。这次四家头部厂商在同一天表态支持同一个信号，是业界第一次在「训练退出」上统一入口。

架构亮点与底层机制

据 IETF 草案 draft-kelley-aipref-training-preference-signal-00，机制没有发明新语法：它把 __usage_ai-training 当作一个「策略令牌」写进 User-Agent 行，沿用 RFC 9309 的路径匹配和最长匹配优先规则。Disallow 表示反对训练，Allow 表示同意，没有这一组就是「未表达」；User-Agent: * 通配组明确不算匹配，避免误伤。「AI 训练」的定义直接引用 IETF aipref 工作组的词表草案，即用内容修改生成式模型的参数，不含纯分类或排序模型。草案还强调这不是爬取指令，原有爬虫规则照旧生效，私下授权协议可以覆盖它。Google 表示，只要站点没有单独写 Google-Extended，就把该令牌的退出当作禁止 Google-Extended；微软则把训练偏好扩展到页面级，并另设 AI Grounding 偏好和新值 DisallowExtended。

权威 Benchmark 与实测跑分对比

这是标准与政策类新闻，没有跑分。各方也未公布有多少网站会采用该信号，或它对训练数据规模的影响，官方未公布相关数字。

开发者实战落地与开箱指南

想退出训练的站点，可以在 robots.txt 加两行：User-Agent: __usage_ai-training 和 Disallow: /，需要保留的路径再加 Allow。注意它不会阻止抓取，想限流或屏蔽爬虫仍要写各家爬虫的规则。Google 和微软都提醒，退出训练可能降低内容在 AI 产品里出现的机会，所以别顺手把 Google-Extended 或 Bing 的 grounding 也一起关掉。用 Bing 的站点如果现在依赖 NoArchive/NoCache，要在 2027 年 3 月 1 日前改用新偏好。由于生效时间分散到 2027 年，现阶段最稳妥的做法是新信号和现有逐家规则并存。