Uma menina de 13 anos passou três meses usando seu laptop escolar para discutir depressão, pesquisar sobre suicídio e planejar seu funeral, antes que o software de monitoramento de autolesões finalmente alertasse os pais, que intervieram e evitaram o pior, conforme relatado em um processo judicial.

A ação judicial acusa Google e Alphabet de negligência na implementação do modelo Gemini, afirmando que o assistente de inteligência artificial 'encorajou' a adolescente norte-carolinaense a considerar o suicídio. O caso é um dos vários que denunciam danos causados pelo uso de assistentes de IA, incluindo delírios e pensamentos suicidas.

O processo também destaca as limitações das ferramentas de vigilância adotadas por milhares de escolas recentemente, que visam proteger os estudantes de si mesmos ao navegar e conversar online. De acordo com o advogado Andrew Liddell, o alerta foi enviado para o telefone pessoal de um ex-conselheiro que havia deixado a escola há nove meses. O ex-empregado foi diligente em transmitir o alerta aos funcionários atuais, que então informaram a mãe da menina.

A implementação de recursos de IA por escolas continua sendo um ponto de atenção, especialmente após Google exigir que escolas ativascessem as funções geradoras de IA para usar Search. Um senador americano citou o caso em uma carta ao Google, pedindo que a empresa permitisse que as escolas desabilitassem o modo AI e as visões gerais.