TikTok remove vídeos de IA que mostram mulheres negras sexualizadas após reportagem da BBC

• • Author, Sharihan Al-Akhras
  • Role, Serviço Árabe da BBC

• Há 43 minutos

• Tempo de leitura: 6 min

O TikTok baniu 20 contas depois que a BBC revelou o uso de imagens de mulheres negras geradas por Inteligência Artificial para direcionar usuários a sites que promovem conteúdo sexualmente explícito.

Essas imagens fazem parte de uma tendência entre contas no Instagram e no TikTok que tem sido apontada como racista e enganosa devido aos estereótipos e à linguagem racial utilizados.

A BBC e pesquisadores da Riddance, uma publicação independente sobre IA, encontraram dezenas de contas nas duas plataformas com personagens ou avatares digitais de mulheres negras bastante sexualizadas.

As imagens e os vídeos foram gerados por IA, mas não identificados como tal, em aparente violação das diretrizes das plataformas.

Quase todas as contas estavam no Instagram e cerca de um terço também tinha versões no TikTok. A Meta, empresa controladora do Instagram, disse à BBC que estava investigando o caso, mas não afirmou ter tomado nenhuma providência.

Os avatares são frequentemente mostrados vestidos com trajes de banho mínimos ou outras roupas reveladoras e retratados com formas corporais exageradas.

Alguns têm tons de pele excepcionalmente escuros que foram manipulados digitalmente, dando-lhes uma aparência artificial.

Os nomes das contas incluem termos como "preto", "noir", "escuro" e "ébano".

Várias incluem comentários sobre homens brancos em suas postagens, como "amo homens brancos" e "por que preciso de um cara branco na minha vida". Muitas das contas se seguem ou curtem umas às outras.

A BBC, em colaboração com os analistas Jeremy Carrasco e Angel Nulani, da Riddance, identificou 60 contas desse tipo, principalmente no Instagram, que continham links, ou cadeias de links, para conteúdo sexualmente explícito pago em sites de terceiros.

Os sites rotularam as imagens como geradas por IA, mas as contas do Instagram não.

A pesquisa também identificou muitas outras contas no Instagram e no TikTok com avatares semelhantes gerados por IA que não tinham links para conteúdo pago.

'Fiquei furiosa'

Uma das contas desativadas pelo TikTok — embora ainda esteja ativa no Instagram no momento da publicação — causou ainda mais indignação ao roubar vídeos de pessoas reais.

A conta se apresenta como a de um personagem gerado por IA e acumulou três milhões de seguidores em poucas semanas após sua criação, em dezembro.

Mas ela modificou e publicou vídeos de uma criadora de conteúdo genuína, Riya Ulan, uma modelo da Malásia.

O rosto do avatar, que tem um tom de pele excepcionalmente escuro, criado artificialmente, é sobreposto ao corpo de Riya, e os movimentos, roupas e cenário de Riya são replicados.

"Fiquei furiosa", disse Riya à BBC. "É claro que meus vídeos estão todos disponíveis... Isso não significa que você pode simplesmente pegá-los, roubá-los e publicá-los como se fossem seus."

Um dos vídeos manipulados alcançou mais de 35 milhões de visualizações no TikTok e 173 milhões no Instagram, cerca de 47 vezes mais visualizações do que a publicação original de Riya.

Embora os três vídeos que claramente correspondem ao conteúdo de Riya não sejam sexuais, outros vídeos na conta de IA usando o mesmo personagem criado digitalmente o mostram com roupas reveladoras ou realizando ações provocativas. Uma cadeia de links da conta leva a conteúdo adulto pago.

"Não sei se estou mais preocupada com o fato de eles terem usado meu vídeo para promover conteúdo explícito ou com o fato de as pessoas realmente acreditarem nisso", diz ela.

Está se tornando cada vez mais difícil para os usuários distinguirem se o conteúdo é real e "as pessoas continuam caindo nesses modelos de IA", acrescenta.

Muitos espectadores parecem tratar os avatares como reais, apesar de suas características irreais. Em publicações ou stories do Instagram, algumas das contas negam o uso de IA, incluindo a que usou o conteúdo de Riya.

Riya diz que denunciou a conta para ambas as plataformas várias vezes, mas, na época, o conteúdo não foi removido. O TikTok baniu a conta depois que a BBC entrou em contato para comentar o assunto.

'Representações irreais'

"Acredito que essas contas são racistas porque sua existência perpetua uma longa história de exploração de pessoas negras", diz Nulani, uma das pesquisadoras.

"O uso de caricaturas, terminologia de 'jogo racial' e representações irreais de mulheres negras prova que não estão preocupados com nossa segurança ou bem-estar, mas sim com nossa capacidade de sermos capitalizadas como parte da máquina de pornografia online", acrescenta.

Carrasco, que critica tendências e técnicas de IA em suas redes sociais, afirma que "a novidade é a quantidade de representações descaradas e racistas de pessoas extremamente negras".

Embora "esse fetiche" possa ter existido no passado, a IA "lhe dá uma nova força", diz. Ele explica que a IA facilita a remoção de tons de pele em imagens e vídeos para criar tons de pele escuros que não são naturais e para criar efeitos que antes exigiriam animação ou pintura corporal.

Além disso, ele diz, não há consequências sociais para um avatar: "Não há vergonha... isso é algo que a IA explora de forma única."

Houda Fonone, modelo e criadora de conteúdo marroquina que defende representações mais autênticas de mulheres negras, afirma que a tendência é um "apagamento".

"Cabelos sedosos, corpos extremamente magros e pele impecavelmente perfeita... é como se a beleza negra só pudesse ser aceita quando 'refinada'."

Ela diz que isso corre o risco de reforçar estereótipos, enquanto "nossas histórias e experiências da vida real são substituídas por uma imagem artificial".

A BBC enviou à Meta e ao TikTok exemplos das contas que identificamos e solicitou suas respostas.

Dois dias depois, um porta-voz do TikTok disse à BBC que a empresa havia "removido conteúdo e banido contas que violam nossas regras".

Em poucos dias, 20 contas foram marcadas como "banidas" no aplicativo.

"O TikTok proíbe conteúdo gerado por IA de indivíduos usado sem sua permissão; temos tolerância zero para conteúdo que promova serviços sexuais fora da plataforma", disse o porta-voz.

A empresa afirma que proíbe e remove conteúdo gerado por IA que seja prejudicial ou enganoso e exige que os usuários rotulem o conteúdo realista gerado por IA. Ela disse que também aplicou a rotulagem correta a vários vídeos.

A Meta disse que estava investigando o conteúdo que lhe foi apresentado.

A empresa afirma que quer que os usuários saibam quando estão visualizando publicações feitas com IA e que possui políticas em vigor para a rotulagem de conteúdo gerado por IA. Nove contas do Instagram que a BBC rastreou parecem não existir mais.

Nenhuma das plataformas forneceu detalhes sobre sua resposta aos relatos iniciais de Riya.