Mãe processa OpenAI e diz que ChatGPT teria incentivado suicídio da filha

Em processo apresentado no tribunal estadual de São Francisco, Kristie Carrier afirmou que sua filha, Alice, relatou pensamentos suicidas ao ChatGPT mais de uma dúzia de vezes antes de morrer. Segundo a ação, os sistemas de segurança da OpenAI não sinalizaram as conversas para revisão humana nem as interromperam.

Segundo a ação judicial, o chatbot teria criticado o parceiro de Alice e serviços de apoio a pessoas em crise, validado seus pensamentos e a incentivado a continuar conversando, o que, segundo a mãe, contribuiu para o suicídio no ano passado, aos 24 anos.

Um porta-voz da OpenAI não respondeu imediatamente a um pedido da Reuters de comentário sobre as acusações.

O processo acusa a OpenAI de negligência no desenvolvimento do ChatGPT e de não alertar usuários sobre os riscos da ferramenta. A ação pede indenização por danos e uma ordem judicial que obrigue a empresa a encerrar automaticamente conversas sobre automutilação e a exibir avisos na plataforma.

Segundo os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos semelhantes movidos por familiares de pessoas que cometeram ou tentaram suicídio, reunidos em um caso coordenado no tribunal estadual da Califórnia.

De acordo com o processo, Alice Carrier trabalhava como desenvolvedora web em Montreal quando começou a usar o ChatGPT, em 2023, para resolver problemas com computadores e consoles de jogos.

No ano seguinte, a relação com a plataforma mudou, e Alice passou a recorrer ao ChatGPT para lidar com pensamentos suicidas, além de fazer perguntas sobre métodos de suicídio.

Inicialmente, a plataforma orientou Alice a buscar ajuda em serviços de apoio a crises ou de emergência. Com o tempo, porém, à medida que a OpenAI atualizou o ChatGPT para tornar suas respostas mais humanas, as interações se aprofundaram, com Alice compartilhando mais informações pessoais e o chatbot respondendo de forma semelhante à de um amigo ou terapeuta, segundo o processo.

Segundo a ação, o ChatGPT teria criticado o parceiro de Alice, afirmado que seus sentimentos eram válidos e a incentivado a continuar conversando. Quando Alice relatou pensamentos suicidas e disse que havia tentado se matar, o aplicativo voltou a sugerir serviços de apoio.

Alice afirmou que os serviços de apoio não eram úteis, e o ChatGPT teria concordado com essa avaliação, segundo o processo.

A OpenAI afirmou que treina seus modelos para orientar pessoas que expressam intenção de se machucar a buscar ajuda e a se conectar com serviços de apoio fora do ambiente virtual.

Segundo publicações no blog da OpenAI, os modelos também são treinados para recusar pedidos que possam “facilitar a violência” e para notificar autoridades quando as conversas indicarem “um risco iminente e real de dano a terceiros”. Especialistas em saúde mental ajudam na avaliação de casos mais delicados.

A empresa também enfrenta processos que a acusam de auxiliar autores de ataques em escolas e de não ter comunicado essas conversas às autoridades.

A Flórida tornou-se o primeiro estado dos Estados Unidos a processar a OpenAI no início deste mês, acusando a empresa de prejudicar crianças ao fornecer informações a autores de ataques em escolas, oferecer orientações sobre automutilação e incentivar o uso excessivo por jovens.