Plataforma de IA processada por casos de suicídio de adolescentes vai proibir usuários menores de idade

A decisão acontece após a empresa ser processada por familiares de um adolescente de 14 anos que se suicidou após se envolver emocionalmente com seu chatbot há cerca de um ano (saiba mais abaixo).

A Character.AI permite que os usuários criem e interajam com personagens virtuais, que vão de figuras históricas a conceitos abstratos. O aplicativo se popularizou entre jovens em busca de apoio emocional.

A empresa disse que tomou essa decisão após ler "relatórios recentes que levantam questões" de reguladores e especialistas em segurança sobre o impacto da interação com IA nos adolescentes.

No comunicado, a empresa disse que vai incentivar usuários mais jovens a utilizarem ferramentas alternativas, como criação de vídeos, histórias e transmissões com personagens de inteligência artificial (IA).

Ela alega que o filho de 14 anos, Sewell Setzer III, se matou após desenvolver interações sentimentais e sexuais com uma personagem criada na plataforma, segundo a Reuters.

O adolescente conversava com "Daenerys", uma personagem de chatbot inspirada na série "Game of Thrones" e compartilhava pensamentos suicidas.

Megan afirma que o chatbot foi programado para “se passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, o que teria aumentado o isolamento do garoto em relação ao mundo real.

Além da Character.AI, Megan também processou o Google, alegando que a gigante de tecnologia contribuiu significativamente para o desenvolvimento da startup e deveria ser considerada sua cocriadora.

A Character.AI foi fundada por ex-engenheiros do Google. Eles retornaram à empresa em agosto como parte de um acordo que deu à gigante de tecnologia uma licença não exclusiva da tecnologia da startup, segundo a Reuters.

Mas o porta-voz do Google, José Castañeda, disse em um comunicado que a big tech e a Character.AI são empresas completamente separadas e não relacionadas, segundo a AFP.

Em novembro de 2024, outras duas famílias processaram a empresa no tribunal do Texas (EUA), em casos envolvendo saúde mental, mas que não terminaram em morte. Eles alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.

Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma.

Além da Character.AI outras empresas de chatbots de IA, como ChatGPT, foram vinculados a casos de suicídio de usuários. Isso levou a OpenAI, dona do ChatGPT, a implementar medidas de proteção aos usuários.