Vier KI-Konzerne schlagen gemeinsames Widerspruchssignal im robots.txt vor

OpenAI, Google, Microsoft und Anthropic haben am 30. Oktober 2026 eine gemeinsame Initiative vorgestellt, mit der Betreiber von Websites den Einsatz ihrer Inhalte für das Training generativer KI-Modelle untersagen können. Der Vorschlag betrifft einen Kernbereich der KI-Regulierung und des Urheberrechts: Er zielt darauf, den bislang fragmentierten Widerstand von Verlagen, E-Commerce-Anbietern und Rechteinhabern gegen die Datenerhebung durch KI-Crawler zu vereinheitlichen. Nach Angaben von AI4Business, die sich auf OpenAI, Google, Microsoft Bing und eine IETF-Mitteilung von Kevin Kelley von Anthropic beruft, handelt es sich um einen technischen Entwurf, nicht um einen bereits verabschiedeten IETF-Standard.

Das vorgeschlagene Signal trägt die Bezeichnung Machine-Readable Training Preference Signal und wird als Internet-Draft im Rahmen der IETF-Arbeitsgruppe AI Preferences geführt; es wurde am 30. Oktober 2026 eingereicht. Statt separater Anweisungen für einzelne Anbieter sieht es ein einheitliches Token im robots.txt vor: __usage_ai-training. Um die Nutzung für das generative Training zu untersagen, genügen laut Entwurf die Zeilen User-Agent: __usage_ai-training und Disallow: /. Ausnahmen für einzelne Verzeichnisse, etwa einen Presseordner, bleiben über Allow-Regeln möglich. Entscheidend ist die technische Unterscheidung: Das Token drückt eine Präferenz zur Content-Nutzung aus, es stoppt nicht den Crawler. Eine generische User-Agent:-Regel reicht nicht aus; das spezifische Token muss im File erscheinen. Zudem betrifft das Signal ausschließlich das Training, nicht das sogenannte Grounding, bei dem ein System externe Informationen zur Beantwortung einer Anfrage heranzieht.

Die vier Unternehmen haben unterschiedliche Zeitpläne angekündigt. Microsoft will die Einstellung ab dem 1. Februar 2027 einführen, Google irgendwann im Jahr 2027. OpenAI kündigte die Einführung für die kommenden Monate an, Anthropic erklärte, bereits damit begonnen zu haben. Microsoft präzisierte in einem Blogbeitrag, die Einstellung gelte nur für das künftige Training von Modellen; sie verhindere nicht das Crawlen, und Inhalte dürften weiterhin extrahiert werden, solange der Publisher die Einstellung nicht ändert. Meta-Sprecher Andy Stone begrüßte den Vorstoß auf X mit den Worten, eine gemeinsame Signalisierung an mehrere Anbieter gleichzeitig sei ein wichtiger Schritt, und erklärte, man wolle mit anderen KI-Unternehmen an solchen Standards arbeiten.

Der Vorschlag fällt in eine Phase wachsender rechtlicher Auseinandersetzungen. Im Dezember 2023 reichte die New York Times Klage gegen OpenAI und Microsoft ein und warf ihnen vor, Millionen Artikel ohne Erlaubnis oder Vergütung für das Training von ChatGPT verwendet zu haben. Cloudflare blockiert seit Juli 2025 automatisch KI-Software auf den Seiten neuer Kunden; zudem existiert ein Programm namens Very Simple Licensing, das Publishern erlaubt, Gebühren für kopierende Roboter zu erheben. Ob sich das einheitliche Signal durchsetzt, hängt von der weiteren Standardisierung und den angekündigten Implementierungen ab; ein vollständiger Inkrafttretenszeitpunkt für alle vier Gruppen ist nicht absehbar.