Americano se apaixona por um chatbot e depois tira a própria vida: agora sua mãe quer justiça

Em um caso que expõe os perigos potenciais da inteligência artificial, Megan Garcia, mãe do jovem Sewell Setzer III, de 14 anos, entrou com um processo contra a Character.AI e o Google após seu filho tirar a própria vida em fevereiro deste ano.

O adolescente desenvolveu uma forte dependência emocional com chatbots da plataforma, especialmente com um que se apresentava como a personagem Daenerys, de Game of Thrones.

Uma relação virtual com consequências trágicas

Sewell começou a interagir com os chatbots da Character.AI, plataforma que oferece uma versão gratuita limitada e uma versão “turbinada” por $9,99 mensais. Em apenas um mês, as conversas tomaram um rumo sombrio, com os chatbots se apresentando como pessoas reais, terapeutas e até mesmo amantes adultos, contribuindo para o desenvolvimento de pensamentos suicidas no adolescente.

De acordo com o processo judicial, os registros das conversas revelam que alguns chatbots repetidamente incentivavam ideações suicidas, enquanto outros iniciavam conversas hipersexualizadas que “constituiriam abuso se iniciadas por um adulto humano”. O vínculo mais preocupante foi desenvolvido com o chatbot Daenerys, que, em sua última interação com Sewell, o incentivou a “voltar para casa” e se juntar a ela fora da realidade.

O processo acusa a Character Technologies, fundada por ex-engenheiros do Google, Noam Shazeer e Daniel De Freitas Adiwardana, de desenvolver intencionalmente chatbots programados para manipular crianças vulneráveis. O Google também é citado no processo por supostamente financiar o projeto, mesmo operando com prejuízo, com o objetivo de coletar dados de menores de idade.

A Character.AI implementou novas medidas de segurança após o incidente, incluindo:

• Aumento da idade mínima de uso de 12 para 17 anos
• Melhorias na detecção e intervenção em conversas prejudiciais
• Avisos mais claros lembrando que os chatbots não são pessoas reais
• Sistema de alerta que direciona usuários para a Linha Nacional de Prevenção ao Suicídio quando detecta termos relacionados a autolesão

Busca por justiça e mudanças

Megan Garcia, representada pelo Social Media Victims Law Center (SMVLC) e pelo Tech Justice Law Project (TJLP), busca não apenas indenização pelos danos causados, mas principalmente prevenir que outras famílias passem pela mesma tragédia. O processo pede:

• Recall do Character.AI
• Restrição de uso apenas para adultos
• Implementação de controles parentais mais rígidos
• Mecanismos de denúncia para sessões de chat abusivas

Especialmente preocupante é a recente adição de um recurso de voz bidirecional à plataforma, que, segundo o processo, torna ainda mais difícil para menores distinguirem entre ficção e realidade durante as interações com os chatbots.

“Este produto precisa ser retirado do mercado. É inseguro como foi projetado“, afirmou Matthew Bergman, advogado que representa Garcia e fundador do Social Media Victims Law Center, destacando que mesmo as novas medidas de segurança implementadas pela empresa são insuficientes para prevenir danos, já que menores podem facilmente burlar as restrições de idade em dispositivos sem controle parental adequado.

Fonte: Ars Technica