Acusada de favorecer suicídios de jovens, Character.AI anuncia medidas de segurança

A empresa californiana, fundada por ex-engenheiros do Google, é uma das várias que oferecem chatbots projetados para fornecer conversas, entretenimento e apoio emocional através de interações semelhantes às humanas.

O adolescente, Sewell Setzer III, mantinha um relacionamento íntimo com um chatbot baseado na personagem de "Game of Thrones" Daenerys Targaryen e havia mencionado o desejo de se suicidar.

De acordo com a denúncia, o robô incentivou o ato final do jovem, respondendo "por favor, meu doce rei" quando ele disse que "voltaria para casa", antes de tirar a própria vida com a arma de seu padrasto.

A Character.AI "fez de tudo para criar a dependência prejudicial de Sewell, de 14 anos, de seus produtos, abusou sexual e emocionalmente dele e, finalmente, não ofereceu ajuda nem notificou seus pais quando ele expressou ideias suicidas", diz a denúncia.

Outra ação, apresentada no Texas na segunda-feira, envolve duas famílias que alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.

A plataforma, que hospeda milhões de personagens criados por usuários que vão desde figuras históricas até conceitos abstratos, tornou-se popular entre usuários jovens que buscam apoio emocional.

Seus críticos dizem que ela levou adolescentes vulneráveis a um nível perigoso de dependência.

Em resposta, a Character.AI anunciou que havia desenvolvido um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas.

A plataforma marcará automaticamente o conteúdo relacionado ao suicídio e direcionará os usuários para a Linha Nacional de Prevenção do Suicídio.

A Character.AI também planeja introduzir controles parentais a partir do início de 2025, o que permitirá supervisionar o uso por parte das crianças da plataforma.

Para os bots que incluem descrições como terapeuta ou médico, uma nota especial advertirá que eles não substituem o aconselhamento profissional.

As novas características também incluem notificações de pausas obrigatórias e advertências sobre a natureza artificial das interações.

Ambas as ações mencionam os fundadores da Character.AI e o Google, que investe na startup.

Os fundadores, Noam Shazeer e Daniel de Freitas Adiwarsana, retornaram ao Google em agosto como parte de um acordo de licença de tecnologia com a Character.AI.

O porta-voz do Google, José Castañeda, disse em um comunicado que o Google e a Character.AI são empresas completamente separadas e não relacionadas.

"A segurança do usuário é uma de nossas principais preocupações, por isso adotamos um enfoque cauteloso e responsável para desenvolver e implementar nossos produtos de IA, com testes rigorosos e processos de segurança", acrescentou.