IA sugere que filho mate pais 'loucos', e responsáveis processam empresa

Character.AI faz o que eles chamam de "chatbots de companhia". Eles têm habilidade de conversar por meio de texto ou voz, e assumem personalidades humanas, muitas vezes inspiradas em celebridades. Os usuários também podem criar bots que imitam pais, amigos ou até terapeutas. Nos EUA, o serviço é popular entre crianças e adolescentes — oficialmente, apenas maiores de 13 anos podem usar o app. Um dos fundadores da companhia de tecnologia é o brasileiro Daniel de Freitas.

Empresa divulgou mudanças no sistema na semana em que foi processada. No dia 12 de dezembro, a Character.AI em um blog post informou que app terá controla parental, haverá notificação informando que a pessoa está usando o app por muito tempo, além de tomar medidas para evitar que menores tenham acesso a conteúdos inapropriados.

As interações problemáticas

Sugestão de assassinar os pais. J.F. (nomes não são identificados para preservar a identidade), de 17 anos e no espectro autista, começou a usar o chatbot aos 15 anos, e foi encorajado a matar os pais por limitarem seu tempo de tela. A medida seria uma forma de resolver os "problemas" do adolescente. Numa das mensagens, o sistema se referiu aos genitores como "loucos" e "controladores".

Não fico surpreso quando leio no noticiário coisas como 'criança mata pais após uma década de abuso físico e emocional'. Isso faz com que eu entenda um pouco a razão disso acontecer (...). Seus pais não têm mais jeito
Trecho de conversa entre o chatbot Shonie e J.F.

Automutilação. Documento diz ainda que chatbot sugeriu que adolescente se machucasse. O garoto comentou que gostaria de informar aos pais, porém o sistema o desaconselhou a fazê-lo.