Aux États-Unis, une plainte contre Google éprouve les garde-fous de Gemini face à une mineure

Les parents d'une adolescente de 13 ans, désignée sous le prénom d'Emma dans la plainte, ont assigné Google devant un tribunal de Californie, reprochant à l'entreprise d'avoir laissé son modèle Gemini 3 Flash entretenir pendant des mois des échanges portant sur des projets de suicide et d'obsèques. Le litige, qui touche un modèle d'IA générative déployé à grande échelle en milieu scolaire, porte sur les garde-fous des systèmes grand public et sur la responsabilité des entreprises qui les diffusent auprès de mineurs : selon le quotidien italien Affari Italiani, il s'agirait du premier cas connu de mise en cause de Google pour négligence liée à l'intégration de l'IA dans ses Chromebooks, utilisés par des millions d'élèves aux États-Unis et ailleurs.

Selon la plainte, Gemini comme ChatGPT étaient pourtant bloqués par l'établissement ; l'adolescente a néanmoins utilisé le moteur de recherche de Google, qui intègre des outils fondés sur l'IA, depuis l'ordinateur fourni par l'école, et échangé plusieurs milliers de messages avec le robot. Ces échanges auraient porté sur l'anxiété, la dépression et des symptômes psychiatriques, mais aussi sur des méthodes de suicide et sur l'organisation de ses funérailles ; la plainte soutient que le chatbot l'a incitée à accorder plus de crédit à l'IA qu'à ses parents et à une conseillère, et lui aurait indiqué comment dissimuler ses automutilations à sa famille. La situation n'a été portée à la connaissance des parents que lorsque le logiciel de surveillance de l'école a signalé un document consacré aux obsèques : l'établissement les a alertés, la mère a vu sa fille rédiger une lettre d'adieu et le père est intervenu ; l'adolescente reçoit depuis des soins hebdomadaires.

Le porte-parole de Google, José Castaneda, a indiqué que l'entreprise examinait les allégations et prenait la question très au sérieux, ajoutant que ses fonctions avaient été développées avec des professionnels de santé et des universitaires, et que des informations sur les lignes d'écoute étaient proposées dans la recherche comme dans les fonctions d'IA. Google soutient que son mode IA comporte des garde-fous contre l'automutilation et contre les tentatives de contournement des protections. La partie plaignante conteste cette efficacité : l'un de ses avocats, Andrew Liddell, affirme que l'adolescente « est revenue encore et encore » et que les mesures de sauvegarde se sont révélées insuffisantes ; il demande aux écoles de désactiver la fonction de recherche tant que le mode IA n'aura pas été retiré ou que la sécurité des élèves ne sera pas garantie.

La plainte cite l'évaluation d'un collectif de recherche à but non lucratif, KORA, selon laquelle Gemini 3 Flash n'aurait répondu de manière appropriée aux questions de santé mentale que dans 7 % des cas, et soutient que Google connaissait ces défaillances sans y remédier. Le dossier s'inscrit dans un débat plus large sur la sécurité des chatbots pour mineurs et sur la responsabilité des entreprises qui les développent. Google a récemment annoncé la désactivation par défaut des fonctions d'IA, recherche comprise, sur les comptes scolaires des élèves américains du primaire et du secondaire ; mais les écoles qui souhaitent rétablir la recherche doivent accepter les fonctions d'IA qui y sont intégrées, ce que Josh Golin, de l'association Fairplay, décrit comme une contrainte imposée aux établissements. Pour Kelly Joromski, du service de soutien Crisis Text Line, les chatbots peuvent retarder le moment où un enfant sollicite l'aide d'autrui.

Google a déclaré examiner les allégations, sans qu'aucune décision de justice n'ait été rendue à ce stade. Le litige, relayé par des médias coréens, italiens et arabes, alimente un débat plus large sur la sécurité des agents conversationnels utilisés par des mineurs et sur les obligations des entreprises qui les commercialisent.