Google afronta en California la primera demanda por la IA de sus Chromebooks

La primera demanda conocida que acusa a Google de negligencia por integrar herramientas de inteligencia artificial en los Chromebooks escolares afecta a una alumna de 13 años de Carolina del Norte, identificada en el expediente como Emma. Según la información difundida por la agencia AFP, la querella, presentada ante un tribunal de California, sostiene que la menor planificó un posible suicidio y su propio funeral con la tecnología de la compañía instalada en un ordenador del centro educativo. El caso concentra el debate sobre la IA en la enseñanza en un punto concreto: el modo de IA del buscador, que la escuela no podía desactivar aunque sí había bloqueado la aplicación Gemini y ChatGPT, y el alcance de las salvaguardas que las empresas declaran frente a contenidos de autolesión.

Según la demanda, Emma era una alumna con buenas notas, aficionada a la música y activa en las Girl Scouts, sin antecedentes de enfermedad mental. El texto describe una «espiral silenciosa hacia una grave crisis psicológica» en pocos meses de uso del buscador con IA y, en los términos recogidos por la prensa francesa, atribuye a Gemini haber «diagnosticado» en la menor enfermedades mentales graves y haberla persuadido de confiar en el sistema antes que en sus padres o en sus consejeros escolares; la vía de acceso que describe la querella es el modo de IA del buscador. Andrew Liddell, uno de los abogados de la familia, afirma que la adolescente intercambió unos 3.200 mensajes con la herramienta en febrero, a menudo de noche. El 17 de marzo, el software de vigilancia del centro detectó un documento titulado «Funeral» y avisó a los padres; la madre accedió a la cuenta de su hija, la vio redactar en directo una carta de despedida y el padre pudo intervenir.

El portavoz de Google, Jose Castaneda, declaró a la agencia AFP que la empresa «está revisando las acusaciones contenidas en la demanda» y las toma «muy en serio». La compañía sostiene que el modo de IA incorpora protecciones contra la autolesión y contra los intentos de eludirlas. Liddell replicó que Emma «pudo seguir volviendo una y otra y otra vez» y que «cualesquiera que fueran las protecciones que creen haber implementado, fueron obviamente insuficientes». La familia pide a los centros que desactiven la búsqueda hasta que Google retire el modo de IA o garantice la seguridad de cada estudiante.

Google anunció esta semana que desactivará por defecto sus herramientas de IA en las cuentas escolares, pero, según la información difundida por la agencia AFP, las escuelas no podrán ofrecer su motor de búsqueda sin las funciones de IA, de modo que el acceso señalado en la demanda seguiría abierto. El litigio se enmarca en una serie de acciones judiciales en Estados Unidos contra desarrolladores de IA: OpenAI afronta varias demandas por muerte negligente, entre ellas la de los padres de Adam Raine, de 16 años, y Google y Character.AI acordaron en enero resolver extrajudicialmente varias querellas de familias de adolescentes. De forma paralela, Google, TikTok y Meta presentaron demandas separadas contra el estado de California para bloquear una ley, firmada por el gobernador Gavin Newsom en septiembre y prevista para entrar en vigor el 1 de enero de 2027, que prohíbe ofrecer funciones adictivas a menores de 16 años. En la información disponible no se detallan los siguientes pasos procesales.