Grok, IA de Musk, remove recursos após gerar imagens inadequadas de menores

Diferente de outras ferramentas de IA generativa, como ChatGPT e Microsoft Copilot, que possuem filtros rígidos de segurança, o Grok tinha uma abordagem mais permissiva. A própria xAI promovia a ferramenta como tendo "menos restrições" que seus concorrentes, o que acabou se mostrando um problema sério.

Após a repercussão negativa, a xAI reconheceu as falhas e tomou medidas imediatas. Em comunicado, a empresa admitiu que "houve problemas com a moderação de conteúdo" e que está trabalhando para corrigir as vulnerabilidades do sistema.

A aba de geração de imagens foi temporariamente removida para todos os usuários enquanto a empresa implementa filtros de segurança mais robustos. Não há previsão de quando o recurso voltará a funcionar.

A criação de imagens sexualizadas de menores, mesmo que geradas artificialmente, configura crime em diversos países, incluindo o Brasil. A legislação brasileira prevê penas de até seis anos de prisão para quem produz, vende ou distribui esse tipo de material. Além das questões legais, o caso levanta preocupações sobre como empresas de tecnologia estão lidando com a responsabilidade de moderar conteúdo gerado por IA. Afinal, ferramentas mal supervisionadas podem ser exploradas para fins criminosos.

Ferramentas concorrentes adotam políticas mais restritivas. O ChatGPT, da OpenAI, e o Copilot, da Microsoft, bloqueiam automaticamente solicitações envolvendo nudez, violência explícita e conteúdo envolvendo menores. Esses sistemas passam por constantes atualizações de segurança e possuem equipes dedicadas à moderação.

O Grok, por outro lado, foi posicionado como uma alternativa "sem censura", atraindo usuários que buscavam contornar as restrições de outras plataformas. Essa estratégia agora se volta contra a empresa.

A xAI informou que está revisando completamente seus protocolos de segurança. Entre as medidas anunciadas estão:

Elon Musk, dono da xAI, ainda não se pronunciou diretamente sobre o caso em suas redes sociais, onde costuma comentar polêmicas envolvendo suas empresas.

O episódio representa um golpe significativo para a xAI, que lançou o Grok há menos de dois anos como concorrente direto do ChatGPT. A empresa vinha ganhando usuários justamente por sua proposta de menor moderação, mas agora enfrenta críticas de ativistas, autoridades e da própria comunidade de usuários.

Organizações de proteção à infância já manifestaram preocupação e pedem que órgãos reguladores investiguem o caso. Nos Estados Unidos, onde a xAI tem sede, autoridades federais podem abrir inquérito sobre possíveis violações de leis de proteção a menores.

O caso do Grok reacende discussões sobre até onde deve ir a liberdade de geração de conteúdo por inteligência artificial. Devido os perigos da falta de limitação, a tendência é que regulamentações mais rígidas sejam impostas globalmente. A União Europeia já possui o AI Act, legislação que estabelece regras para o uso de IA, e outros países estudam medidas similares.

Por enquanto, usuários do Grok terão que aguardar o retorno da funcionalidade de geração de imagens, que deve vir acompanhada de restrições muito mais severas do que as existentes anteriormente.

Veja também: ORKUT VAI VOLTAR???? Perguntamos para o criador da rede social!