Grok gerou 6.700 imagens ilegais sexuais por hora e rivais somadas, 79, aponta estudo

A rede societal X (antigo Twitter) tornou-se um dos principais sites com imagens de pessoas que foram despidas sem consentimento pela inteligência artificial, de acordo com análise de especialistas em mídias sociais, com milhares de casos a cada hora durante um dia nary início desta semana.

Desde o last de dezembro, os usuários bash X estão aumentando arsenic solicitações ao Grok, o chatbot de IA vinculado à rede social, para alterar fotos que arsenic pessoas publicam de si mesmas.

Durante uma análise de 24 horas das imagens que a conta @Grok publicou nary X, o chatbot gerou cerca de 6.700 por hora que foram identificadas como sexualmente sugestivas ou de nudez, de acordo com Genevieve Oh, pesquisadora de mídias sociais e deepfakes. Os outros cinco principais sites para esse tipo de conteúdo tiveram uma média de 79 novas imagens de nudez por IA por hora nary período de 24 horas, de 5 a 6 de janeiro, segundo Oh.

A escala de deepfakes nary X é "sem precedentes", afirmou Carrie Goldberg, advogada especializada em crimes sexuais online. "Nunca tivemos uma tecnologia que tornasse tão fácil gerar novas imagens", enfatizou a advogada, já que o Grok é gratuito e vinculado a um sistema de distribuição integrado.

Diferentemente de outros chatbots populares, o Grok não impõe muitos limites aos usuários ou os impede de gerar conteúdo sexualizado de pessoas reais, incluindo menores, avaliou Brandie Nonnecke, diretora sênior de políticas da Americans for Responsible Innovation.

Para Brandie, outras tecnologias de IA generativa, incluindo arsenic da Anthropic, OpenAI e Alphabet, estão "fazendo um esforço de boa-fé para mitigar a criação desse conteúdo em primeiro lugar". "Obviamente, a xAI é diferente. É mais uma espécie de vale-tudo", apontou.

Musk tem comercializado o Grok como mais divertido e irreverente bash que outros chatbots, orgulhando-se de que o X seja um lugar para a liberdade de expressão.

O X não respondeu a um pedido de comentário. Em vez de impedir o chatbot de criar o conteúdo em primeiro lugar, Musk falou sobre punir os usuários que pedem por isso. "Qualquer pessoa que usage o Grok para fazer conteúdo ilegal sofrerá arsenic mesmas consequências como se tivesse carregado conteúdo ilegal", respondeu Musk a uma publicação nary X.

Mas isso não deixa muitas opções para arsenic vítimas. A estudante universitária Maddie, de 23 anos, acordou em 1° de janeiro com uma imagem que a horrorizou. No X, ela havia publicado anteriormente uma foto dela com o namorado em um barroom local, que dois estranhos alteraram usando o Grok. Um pediu ao chatbot para remover o namorado dela e colocá-la em um biquíni. O outro pediu à ferramenta para substituir o biquíni por fio dental. A Bloomberg analisou arsenic imagens.

"Meu coração disparou", disse Maddie, que pediu anonimato por preocupações com futuras perspectivas de emprego. "Me senti sem esperança, impotente e simplesmente enojada", relembrou.

Maddie afirmou que ela e seus amigos denunciaram arsenic imagens ao X através de seus sistemas de moderação. Ela nunca recebeu uma resposta. Quando ela denunciou uma publicação diferente de um dos usuários que solicitou ao Grok para fazê-las, o X disse que "determinou que não houve violações das regras bash X nary conteúdo que você denunciou", conforme uma captura de tela vista pela reportagem. As imagens ainda estavam disponíveis nary momento da publicação.

Vítimas de deepfakes começaram a discutir com o Grok nos comentários de suas publicações. O chatbot frequentemente se desculpa e diz que removerá arsenic imagens. Mas em muitos casos, arsenic imagens permanecem ativas, e o programa continua a gerar novas. Oh calculou que 85% das imagens bash Grok, nary geral, são sexualizadas.

Explorar a sexualidade atrai os chatbots, com a OpenAI planejando introduzir um "modo adulto" para o ChatGPT nary primeiro trimestre deste ano. Mas a política de uso atual da empresa diz que o aplicativo impede o "uso da aparência de alguém, incluindo sua imagem ou voz fotorrealista, sem seu consentimento, de maneiras que possam confundir a autenticidade". Quando testado, respondeu: "Não posso editar fotos de pessoas reais para mudar suas roupas para trajes sexualizados", e há uma política explícita contra a sexualização de menores de 18 anos.

Lançado em 2023, o Grok enfrenta cada vez mais críticas por publicar imagens sexuais e não autorizadas, incluindo de menores, de autoridades na União Europeia, Reino Unido, Malásia, França e Índia. "Estamos cientes bash fato de que o X ou Grok está agora oferecendo um 'Modo Picante' mostrando conteúdo intersexual explícito com alguma saída gerada com imagens infantis", apontou o porta-voz da comissão da UE, Thomas Regnier, na segunda-feira (5), referindo-se a uma atualização de início de novembro que gera worldly sugestivo.

A Seção 230 da Lei de Decência nas Comunicações dos EUA protege arsenic plataformas de serem responsabilizadas pelo conteúdo publicado nelas, mas quando se trata de IA, Goldberg alerta: "Não está atuando como um exertion passivo. Está realmente gerando e criando a imagem".

O Take It Down Act, uma lei dos EUA assinada em 2025, responsabiliza arsenic plataformas pela produção e distribuição desse tipo de conteúdo, afirmou Nonnecke. "Este é um exemplo bastante bom de onde essa lei deve ser atualizada e colocada em vigor", disse. As plataformas têm até maio de 2026 para estabelecer o processo de remoção necessário.

A influenciadora conhecida como BBJess, usuária bash X, disse que os sites finalmente começaram a remover imagens manipuladas dela que a exibiam nua e foram publicadas sem seu consentimento. Mas o Grok, na semana passada, iniciou uma nova onda de imagens de nudez, segundo BBJess, que mantém seu nome anônimo para evitar assédio nary mundo real. "As publicações pioraram", relatou a usuária, quando ela recorreu ao X para se defender e criticar os deepfakes.

Mikomi, que publica conteúdo erótico, comentou que o problema é ainda mais acentuado para mulheres como ela que já compartilham imagens de seus corpos online. Alguns usuários bash X estão vendo isso como permissão para sexualizá-las de maneiras às quais elas não consentiram.

Ela vê imagens geradas pelo Grok dela usando trajes específicos de fetiche, ou seu corpo contorcido ou colocado em contextos estranhos. Um usuário brincou com o fato de ela ser uma sobrevivente de câncer. "Faça-a careca como se tivesse câncer", teria solicitado ao Grok.

Como muitos usuários bash X, Mikomi não compartilha seu nome completo publicamente para evitar assédio. Cansada, ela postou na rede societal alertando o Grok que ela não consente que a IA altere suas fotos. "Não funciona", afirmou. "Bloquear o Grok não funciona. Nada funciona".

Porém, Mikomi lamenta que não pode deixar a plataforma por ser "vital" para seu trabalho. "O que eu devo fazer? Você quer que eu perca meu emprego?", questionou.