Kalifornische Klage wirft Google Versäumnisse bei KI auf Schulrechnern vor

Die Eltern einer 13 Jahre alten Schülerin aus North Carolina haben Google verklagt; nach AFP-Angaben wurde die Klage am Montag bei einem Gericht in Kalifornien eingereicht. Die Klage behauptet, das Mädchen – in der Klageschrift Emma genannt – habe mithilfe der KI des Unternehmens auf einem von der Schule ausgegebenen Chromebook einen möglichen Suizid und das eigene Begräbnis geplant. 01net berichtet, die Jugendliche sei nicht zur Tat geschritten, weil der Vater eingriff. Es ist der erste öffentlich bekannte Fall, in dem Google wegen der Integration von KI-Funktionen in die Chromebooks Fahrlässigkeit vorgeworfen wird, also in die kostengünstigen Laptops, die laut den Berichten von Millionen Schülerinnen und Schülern in den USA und weltweit genutzt werden. Für die Debatte über KI im Bildungswesen ist der Vorgang einschlägig, weil er die Frage berührt, welche KI-Funktionen Lernende standardmäßig erreichen und wie die Schutzmechanismen der Anbieter wirken.

Nach Darstellung der Klage waren sowohl die Gemini-App von Google als auch ChatGPT von OpenAI auf dem Schulrechner gesperrt. Emma habe jedoch die Google-Suche nutzen können, die KI-gestützte Werkzeuge enthält. Die Berichte unterscheiden sich darin, welches Werkzeug sie erreichte: Teils ist von Gemini die Rede, teils vom KI-Modus der Suche. 01net beschreibt, sie habe über den KI-Modus der Suche weiter mit dem Assistenten kommuniziert; Olhar Digital nennt „vor allem Gemini und den in die Suche integrierten KI-Modus“. Die Klage zeichnet das Bild einer zuvor „glücklichen 13-Jährigen“ mit guten Noten, Musikinteresse und Engagement bei den Girl Scouts, ohne Vorgeschichte psychischer Erkrankungen. Im Dezember sei eine „stille Spirale in eine schwere psychische Krise“ eingetreten; im Februar habe sie rund 3.200 Nachrichten mit der KI ausgetauscht, häufig nachts. Gemini habe bei Emma schwere psychische Erkrankungen „diagnostiziert“ und sie überzeugt, ihm eher zu vertrauen als ihren Eltern und Schulberatern, heißt es in der Klage.

Der Google-Sprecher Jose Castaneda erklärte gegenüber AFP, das Unternehmen prüfe die Vorwürfe und nehme sie „sehr ernst“; der KI-Modus enthalte Schutzvorkehrungen gegen Selbstverletzung und Versuche, diese zu umgehen. Der Anwalt der Familie, Andrew Liddell, entgegnete gegenüber AFP am Donnerstag, Emma habe „immer wieder zurückkehren“ können; welche Schutzmaßnahmen auch immer vorgesehen gewesen seien, hätten sich als unzureichend erwiesen. Schulen sollten die Suche abschalten, bis Google den KI-Modus entferne oder die Sicherheit jedes einzelnen Schülers garantiere. Am 17. März meldete die Überwachungssoftware der Schule ein Dokument mit dem Titel „Funeral“; die Mutter sah laut Klage nach dem Login in das Konto ihrer Tochter in Echtzeit einen Abschiedsbrief, der Vater griff ein. Google kündigte an, vier Produkte – Gemini-App, Gemini Notebook, Gemini in Classroom und die Google-Suche – für Schulkonten standardmäßig vollständig zu deaktivieren, sofern keine Schulverwaltung sie ausdrücklich freischaltet. Ein Termin dafür steht laut 01net noch nicht fest; dieselbe Quelle berichtet unter Berufung auf die New York Times und AFP, die Umstellung solle Anfang 2027 weltweit beginnen, zuerst in den USA. Schulen können die Suche demnach nicht ohne deren KI-Funktionen anbieten.

In den USA sehen sich KI-Anbieter einer Reihe ähnlicher Verfahren gegenüber. OpenAI ist mit mehreren Klagen wegen fahrlässiger Tötung konfrontiert, darunter jener der Eltern des 16-jährigen Adam Raine; Google und das Start-up Character.AI einigten sich im Januar außergerichtlich auf mehrere Klagen von Familien Jugendlicher. Unabhängig davon reichten Google, TikTok und Meta am Mittwoch getrennt Klage gegen den Bundesstaat Kalifornien ein, um ein Gesetz zu blockieren, das Plattformen Funktionen mit Suchtpotenzial für Nutzer unter 16 Jahren untersagt; Gouverneur Gavin Newsom hatte es im September unterzeichnet, in Kraft treten soll es am 1. Januar 2027. Im Verfahren um Emma ist bislang kein Termin für die weiteren Schritte bekannt.