Empresa de IA processou a morte de adolescente após “se apaixonar” por chatbot
O site de chatbot personalizado Character AI lançou novos recursos de segurança em meio a um processo alegando que um de seus personagens levou à morte de um jovem de 14 anos.
O jornal New York Times relata que ao longo de uma série de meses, Sewell Setzer III desenvolveu um apego emocional a um dos chatbots personalizados da Character AI.
Nomeado em homenagem à personagem de Game of Thrones, Daenerys Targaryen, Sewell atualizava o chatbot sobre sua vida dezenas de vezes por dia. Capturas de tela da conversa mostram mensagens do bot que dizem “permaneça fiel a mim”.
No dia 28 de fevereiro, após uma conversa com o bot, o adolescente suicidou-se.
Em uma ação movida contra a empresa em 22 de outubro, a mãe do menino disse acreditar que a empresa se comportou de forma “imprudente” ao oferecer aos adolescentes acesso a “companheiros de IA realistas” sem as devidas salvaguardas.
Em resposta à morte do menino, a Character AI divulgou um comunicado sobre sua morte e divulgou uma série de salvaguardas para proteger os usuários no futuro.
“Estamos com o coração partido pela trágica perda de um dos nossos utentes e queremos expressar as nossas mais profundas condolências à família. Como empresa, levamos muito a sério a segurança dos nossos usuários e continuamos a adicionar novos recursos de segurança”, disseram eles em um post no X.
Entre os recursos que a empresa do chatbot adicionou está um novo pop-up que é acionado quando um usuário envia certas frases relacionadas a automutilação ou suicídio. O pop-up redireciona os usuários para a Linha Direta Nacional de Prevenção ao Suicídio.
No futuro, a Character AI fará ajustes nos modelos projetados para usuários menores de 18 anos que reduzirão a probabilidade de encontrar conteúdo sensível ou sugestivo. Eles também criarão um novo aviso que lembrará aos usuários que a IA não é uma pessoa real.
A Character AI também revelou que, desde o incidente, eles contrataram um Chefe de Confiança e Segurança e um Chefe de Política de Conteúdo para que possam continuar a crescer e evoluir como empresa.
Eles não são a única empresa que oferece chatbots personalizados com nomes de personagens e influenciadores populares. Meta lançou uma linha de bots em setembro de 2023 apresentando a imagem de MrBeast, Charli D’Amelio e muito mais.
