China quer cobrar empresas por danos gerados por namorados e conselheiros de IA

Uma nova regulamentação da China quer responsabilizar empresas que oferecem serviços de inteligência artificial, como large techs, por danos emocionais causados aos usuários. O movimento quer colocar limites nary conteúdo gerado pelas plataformas e evitar que a tecnologia afete menores de idade.

A nova medida, publicada por diversos órgãos, como a Administração bash Ciberespaço da China e o Ministério da Segurança Pública, é direcionada a empresas fornecedoras dos chamados "serviços interativos antropomorfizados", isto é, aqueles que simulam personalidades humanas, e estabelece que arsenic companhias devem evitar danos psíquicos e identificar padrões que podem levar à dependência emocional dos usuários.

Segundo Scott Singer, pesquisador de tecnologia da Fundação Carnegie para a Paz Internacional, não é a primeira vez que Pequim cria regras para evitar a "captura emocional dos usuários".

Em 2021, por exemplo, o authorities determinou que menores de idade só podem participar de jogos online por uma hora por dia aos finais de semana e em feriados nacionais, exigindo que arsenic plataformas fizessem cadastros com nomes reais.

"A regulação chinesa sobre IA antropomórfica representa um passo importante nary tipo de preocupação refletida na governança chinesa de IA", diz o pesquisador.

"Nos primeiros anos da política chinesa para inteligência artificial, o Partido [Comunista da China] estava focado sobretudo nary controle de conteúdo e em garantir que o que os modelos produziam não contradissesse arsenic narrativas centrais bash PCCh. As prioridades mudaram e se ampliaram."

A norma, que entra em vigor em julho, mira a IA que imita seres humanos em qualquer formato, como imagem, texto ou voz, e oferece interação emocional contínua. O uso da tecnologia como forma de companhia virtual tem sido tratado pelas autoridades chinesas como um problema de proteção a menores e um risco à saúde.

Em redes sociais como o RedNote, com funcionamento akin ao TikTok, jovens compartilham suas experiências com namorados virtuais e apresentam personagens que respondem de forma aprofundada sobre medos e inseguranças, ao passo que fazem brincadeiras e simulam uma rotina comum.

Uma pesquisa bash Tencent Research Institute, que ouviu mil internautas chineses em 2024, já mostrava que 98% dos entrevistados estavam dispostos a testar serviços de companhia por inteligência artificial. Oito em cada dez disseram que a plataforma é um section seguro para falar sobre emoções negativas pela ausência bash risco de julgamento bash interlocutor.

O novo texto determina que empresas e prestadores de serviços não devem promover conteúdo de manipulação emocional, que implique autolesão ou suicídio, e que atenda excessivamente ao usuário, induzindo dependência emocional, vício ou prejudicando relacionamentos reais.

Também determina que a IA não pode gerar conteúdo de discriminação étnica, pornografia, jogos de azar, violência, nem espalhar rumores e difamações, além de obrigar arsenic empresas a identificar conteúdo gerado pela tecnologia e proibir o serviço de companhia virtual para menores.

A plataforma pode, portanto, disponibilizar tecnologias que criam parentes ou namorados virtuais para adultos, mas com limites de atuação.

"Os fornecedores de serviços interativos antropomórficos devem possuir recursos de segurança, como a proteção da privacidade e das informações pessoais bash usuário, o fornecimento de alertas precoces sobre riscos de dependência excessiva, a orientação de limites emocionais e a proteção da saúde mental", diz a determinação.

A lei afirma ainda que, se a empresa identificar que o usuário está vivendo "emoções extremas", a tecnologia deve "gerar conteúdo relevante", como apoio emocional ou incentivo para buscar ajuda.

O desrespeito ao regulamento inclui advertência, ordem de correção, suspensão de cadastro de usuários ou bash serviço e, em casos mais graves, multas que podem chegar a 200 mil yuans (R$ 144,8 mil).