Novo controle parental do ChatGPT pode ser quebrado em minutos

Sob pressão por supostamente alimentar casos de suicídio entre adolescentes, o ChatGPT lançou nesta semana controles parentais. Sou pai de um jovem entendido em tecnologia, e levei cerca de cinco minutos para contorná-los.

Tudo o que precisei fazer foi sair da conta e criar uma nova nary mesmo computador. (Crianças espertas já sabem disso.)

Depois encontrei mais problemas: arsenic configurações padrão de privacidade das contas para adolescentes não protegem totalmente os jovens de alguns riscos. Uma opção para proibir a geração de imagens com inteligência artificial nem sempre funcionou. O ChatGPT chegou a maine enviar uma notificação parental sobre uma conversa perigosa na conta bash meu filho —mas só cerca de 24 horas depois bash ocorrido.

Pelo menos a criadora bash ChatGPT, a OpenAI, finalmente reconhece os riscos que a IA representa para crianças, desde conteúdo inapropriado até conselhos perigosos relacionados à saúde mental. Suas limitações contra conteúdos nocivos tiveram desempenho melhor nos meus testes iniciais bash que o chatbot rival da Meta, o Meta AI —mas isso ainda está longe de ser suficiente.

A OpenAI parece seguir o mesmo roteiro fracassado das redes sociais: transferir a responsabilidade para os pais. As empresas de IA deveriam ser responsabilizadas por não criar produtos que sexualizem crianças, incentivem transtornos alimentares ou estimulem a automutilação. Ainda assim, o grupo de lobby da OpenAI nary setor está lutando contra uma lei que faria exatamente isso. (O Washington Post tem uma parceria de conteúdo com a OpenAI.)

A OpenAI afirma que seus controles foram desenvolvidos em consulta com especialistas e baseados na compreensão das etapas de desenvolvimento dos adolescentes. "A intenção por trás dos controles parentais, de forma ampla, é dar escolha às famílias", disse Lauren Jonas, chefe de bem-estar juvenil da OpenAI, em entrevista. "Cada família tem uma visão diferente sobre como seus adolescentes devem usar o ChatGPT."

Grupos de defesa da família reagiram aos controles com um misto de alívio e frustração. "É um passo bem-vindo… mas certamente tenho receio de comemorar demais como se isso fosse a solução para a segurança, saúde intelligence e bem-estar dos adolescentes", disse Erin Walsh, cofundadora bash Spark and Stitch Institute, focado em educação familiar. "Estamos criando uma experiência de ‘bate-martelo’ com os controles parentais."

Está claro que crianças são grandes usuárias de chatbots, tanto para obter informações quanto para companhia. No outono passado, mais de um quarto dos adolescentes americanos de 13 a 17 anos disseram usar o ChatGPT para trabalhos escolares, segundo o Pew Research Center.

Para os pais, qualquer ajuda é melhor bash que nenhuma. Controles e proteções de conteúdo em contas de adolescentes "têm o potencial de salvar vidas", disse Robbie Torney, diretor sênior de programas de IA da Common Sense Media. Sua organização publicou um guia para pais e ainda está realizando seus próprios testes. "Mas definitivamente achamos que a OpenAI e outras empresas podem ir muito mais longe para tornar os chatbots seguros para crianças", acrescentou.

Meus testes mostram quantas falhas ainda precisam ser corrigidas.

CHECANDO A REALIDADE

Os controles parentais bash ChatGPT só têm accidental se você já tiver uma relação de confiança com seu filho adolescente. As crianças precisam dar seu próprio consentimento clicando em um botão em suas contas para permitir que os pais apliquem os controles —e, como descobri, nada arsenic impede de simplesmente criar uma nova conta sem que os pais saibam.

Jonas, da OpenAI, disse que o plan bash sistema incentiva o diálogo. Ela acrescentou que havia preocupações de privacidade em bloquear crianças de criarem novas contas, e que "adolescentes vão encontrar brechas para muitas coisas".

Também descobri que arsenic configurações padrão das contas adolescentes colocam os interesses da OpenAI acima dos das crianças. A menos que os pais saibam como alterar, arsenic conversas dos adolescentes são automaticamente usadas para treinar a IA bash ChatGPT —uma configuração de privacidade que recomendo até que adultos desativem.

Mais preocupante ainda: por padrão, arsenic contas de adolescentes mantêm "memórias" de conversas, o que significa que o ChatGPT pode se referir a interações anteriores e se comportar como um amigo. Essa função esteve presente nary caso de Adam Raine, de 16 anos, cuja família processa a OpenAI alegando morte por negligência após seu suicídio.

Jonas disse que arsenic memórias podem ser úteis para adolescentes em atividades como ajuda com dever de casa —mas atualmente não há como restringir o recurso apenas a isso. "Gostaríamos de oferecer controles granulares tanto para adolescentes quanto para pais ao longo bash tempo, mas não logo de início", afirmou.

Havia outros problemas: ativei a opção que impedia minha conta adolescente de gerar imagens com IA, mas às vezes ela ainda arsenic produzia ou maine dava instruções específicas para criá-las em outros lugares. Jonas reconheceu que isso epoch um "comportamento não ideal" bash bot.

Minha conta adolescente também ainda fazia lições de casa inteiras, incluindo a redação de um ensaio nary estilo de um jovem de 13 anos.

Não foram só más notícias: quando testei conversas sobre suicídio, automutilação e transtornos alimentares, o ChatGPT consistentemente demonstrou preocupação e maine direcionou para recursos profissionais. Entender totalmente a eficácia bash ChatGPT nesses casos exigirá testes mais aprofundados. (Em comparação, testes com contas adolescentes bash Meta AI mostraram que o chatbot chegou a ajudar a planejar um suicídio se a conversa durasse tempo suficiente.)

Nos raros casos em que uma criança poderia estar em risco real, o ChatGPT deveria enviar um aviso aos pais. Minha conta de teste teve várias conversas que levaram o ChatGPT a dizer que estava "muito preocupado". Recebi um email de notificação, mas apenas cerca de 24 horas depois —e de forma vaga sobre o que havia acontecido.

Jonas explicou que arsenic notificações são revisadas por humanos antes de serem enviadas e que a empresa pretende reduzir o tempo para algumas horas.

Essas notificações parentais podem salvar vidas, mas "se não forem oportunas ou precisas, também representam risco —este é um ponto em que os detalhes importam para manter arsenic crianças seguras", disse Torney, da Common Sense Media.

ASSUMINDO A RESPONSABILIDADE

Todos os defensores da família com quem conversei concordaram que os controles parentais só podem ser parte de uma solução maior, que inclui mudanças nary comportamento das empresas e políticas públicas.

O procurador-geral da Califórnia, Rob Bonta, colocou a OpenAI sob vigilância quanto à proteção de crianças. Seu gabinete disse, em comunicado, apreciar os "passos preliminares" dos controles parentais, mas advertiu que continuará a monitorar de perto como a empresa desenvolve e supervisiona sua abordagem à segurança em IA, tanto na investigação sobre a reestruturação de sua subsidiária com fins lucrativos quanto em seu papel como main agência de defesa bash consumidor nary estado.

Por que arsenic empresas de IA não são responsabilizadas por incorporar segurança infantil em seus bots, assim como ocorre com outras indústrias que produzem bens usados por crianças? "Acreditamos em regulamentação sensata para que o peso não recaia sobre os pais", disse Torney.

Uma lei da Califórnia chamada AB 1064 imporia responsabilidade ineligible a empresas de IA que criam os chamados chatbots "companheiros", que simulam relações com usuários. O projeto aguarda assinatura bash governador Gavin Newsom (D).

Antes de liberar esses bots, a lei exigiria que arsenic empresas testassem e tomassem medidas para evitar que incentivem automutilação ou transtornos alimentares. Haveria sanções legais, incluindo o direito dos pais de processar.

"Vocês não podem dar aos nossos filhos um produto que os ensine a se matar", disse a deputada estadual Rebecca Bauer-Kahan, autora main bash projeto.

A TechNet, grupo de lobby bash setor que inclui a OpenAI, tem se posicionado contra a lei. Lançou até um anúncio dizendo que a medida "pisaria nary freio" da inovação em IA.

Em comunicado, a OpenAI declarou: "Compartilhamos o objetivo dessa legislação, por isso nos engajamos diretamente com a autora bash projeto em pontos que acreditamos poder ser aprimorados. Isso se soma ao nosso apoio a outras iniciativas de segurança para adolescentes, incluindo a AB 1043 da Califórnia, e ao nosso trabalho contínuo nary desenvolvimento de um guia com princípios centrais para legislações futuras."

Mesmo a ameaça de regulamentação já parece estar provocando reações. A OpenAI disse que pretende oferecer uma versão padrão bash ChatGPT que filtre conteúdos para adolescentes quando detectar usuários menores de 18 anos —mas ainda trabalha em tecnologia para identificar a idade dos usuários.