Cuatro tecnológicas proponen una etiqueta única en robots.txt para vetar el entrenamiento con contenidos web

OpenAI, Google, Microsoft y Anthropic anunciaron el 30 de octubre de 2026 una propuesta conjunta para que los sitios web puedan oponerse al uso de sus contenidos en el entrenamiento de modelos de inteligencia artificial. La iniciativa se inscribe en el debate sobre derechos de autor y regulación de la IA, donde los editores exigen control sobre el material que alimenta a los modelos generativos. La medida no impide que las páginas sean leídas por motores de búsqueda ni utilizadas para formular respuestas de IA.

El mecanismo consiste en una única regla, el token __usage_ai-training, que se inserta en el archivo robots.txt y expresa una preferencia sobre el uso de los contenidos, no una orden de detener el rastreador. Según el ejemplo del borrador, para excluir todo el sitio se emplean las líneas User-Agent: __usage_ai-training y Disallow: /, y puede añadirse una excepción con Allow para una carpeta concreta. Una regla genérica User-Agent: * no basta para declarar esa voluntad. La propuesta se denomina Machine-Readable Training Preference Signal y fue presentada como Internet-Draft ante el IETF el 30 de octubre de 2026 por Kevin Kelley, de Anthropic, en el grupo de trabajo AI Preferences, en el marco de la iniciativa conjunta de las cuatro compañías. Se trata de un borrador técnico y no de un estándar IETF aprobado.

Los compromisos de implementación difieren. Microsoft comenzará a aplicarlo el 1 de febrero de 2027 y Google en algún momento de 2027; OpenAI lo desplegará "en los meses próximos" y Anthropic afirma que "ya ha comenzado" a hacerlo. Microsoft precisó que el ajuste solo se aplicará al entrenamiento futuro de los modelos y que, por lo demás, no impide el rastreo ni la extracción de contenido hasta que el editor cambie la configuración. Andy Stone, portavoz de Meta, expresó su apoyo en la plataforma X: "creemos que crear una señal común que transmita estas preferencias a varios proveedores a la vez es un paso importante".

El anuncio llega en un contexto de litigios: en diciembre de 2023 The New York Times demandó a OpenAI y Microsoft por el uso de millones de artículos sin permiso ni compensación para entrenar ChatGPT. Cloudflare bloquea automáticamente desde julio de 2025 los programas de IA en los sitios de sus clientes nuevos, y existe un programa llamado "licencia muy simple" que permite a los editores cobrar a los robots que visitan y copian sus páginas. El control aún no está activo simultáneamente en los cuatro grupos y su aplicación concreta dependerá de los compromisos de cada empresa.