IA do Google diz que homem é 'fardo para a sociedade': 'Por favor, morra'

O estudante de 29 anos disse que ficou profundamente abalado com a experiência. "Isso pareceu muito direto. Então definitivamente me assustou, por mais de um dia, eu diria", contou. Ele estava buscando ajuda com a lição de casa da inteligência artificial enquanto estava ao lado de sua irmã, Sumedha Reddy, que afirmou que ambos estavam "completamente assustados".

O Google afirma que Gemini tem filtros de segurança que impedem que os chatbots se envolvam em discussões desrespeitosas, sexuais, violentas ou perigosas e incentivem atos prejudiciais.

Em uma declaração à CBS News, a empresa admitiu que a resposta violou as políticas da plataforma. "Às vezes, modelos de linguagem grandes podem responder com respostas sem sentido, e este é um exemplo disso. Esta resposta violou nossas políticas e tomamos medidas para evitar que resultados semelhantes ocorressem".

Enquanto o Google se referiu à mensagem como "sem sentido", os irmãos disseram que era mais sério do que isso, descrevendo-a como uma mensagem com consequências potencialmente fatais. "Se alguém que estivesse sozinho e em um lugar mental ruim, potencialmente considerando a automutilação, tivesse lido algo assim, isso poderia realmente colocá-lo no limite", disse o jovem.