四家AI企业提出统一训练偏好信号，网站可声明拒绝内容用于模型训练

OpenAI、谷歌、微软与Anthropic于2026年10月30日提出一项共同方案，允许网站通过robots.txt文件声明不将自身内容用于生成式人工智能模型的训练。这一进展直接触及AI版权与内容治理议题：此前发布方须逐一追踪各家爬虫的单独规则，如今一项被采纳方共同承认的标记即可表达同一偏好，从而降低技术管理成本。

该方案名为Machine-Readable Training Preference Signal，由Anthropic的Kevin Kelley作为Internet-Draft提交至IETF的AI Preferences工作组，尚属技术草案，并非IETF正式批准的标准。其核心是统一标记__usage_ai-training，用于标识用途而非特定抓取软件；网站可写入User-Agent: __usage_ai-training与Disallow: /，并可通过Allow行为特定目录设置例外。据AI4Business说明，该标记表达的是内容使用偏好，而非停止爬虫的指令，搜索引擎仍可继续访问页面用于索引。

四家企业的落地节奏并不一致。据Hespress与An-Nahar报道，微软自2027年2月1日起实施，谷歌在2027年年内某个时间实施，OpenAI称将在“未来数月”推出，Anthropic称“已经开始”部署。微软在博客中说明，新设置仅适用于模型的未来训练，不阻止爬虫抓取，在发布方更改设置前内容仍可被提取。Meta发言人Andy Stone在X上表示支持，称建立一项可同时向多家服务商传达此类偏好的共同信号是重要一步。

方案出台之际，发布方正面临抓取其内容用于训练AI的机器人激增，并伴随法律争议。2023年12月，《纽约时报》起诉OpenAI与微软，指控其在未经许可或未支付报酬的情况下使用数百万篇文章训练ChatGPT。Cloudflare自2025年7月起自动屏蔽其新客户网站上的AI软件，另有一项名为“极简许可”的方案允许发布方向抓取并复制其页面的机器人收费。下一步值得关注的是IETF草案的讨论进展，以及微软2027年2月1日实施日期的临近。