Carta pede pausa no avanço da IA por risco à espécie humana. É para temer?

Imagine uma IA operando redes de energia, finanças, logística, saúde, defesa. Se "maximizar eficiência" virar uma regra, ela poderia acelerar decisões sem supervisão, entendendo, no limite, que o ser humano é o problema dessa equação.

Isso pode acontecer? Até pode, mas qual seria a probabilidade?

Discutir esse tema não é simples, óbvio, porque estamos falando de um problema hipotético. O fato é que ainda nem sabemos definir o que seria uma superinteligência, muito menos como chegar nela, então por que discutir esses perigos?

Tem pesquisadores dizendo que essa discussão é uma completa perda de tempo. Eu já acho que pensar em possibilidades, por mais extremas que sejam, é importante. Não faz muito tempo que escrevi a coluna "Por que precisamos imaginar futuros esquisitos com IA" em que discuto sobre isso.

Lembro também que essa não é a primeira vez que o mesmo instituto publica uma carta. Assim que o ChatGPT foi lançado, o FLI pediu uma moratória de seis meses no desenvolvimento de IA. Na época, escrevi um artigo para a Folha de S.Paulo explicando por qual motivo achava a ideia equivocada.

Meu argumento era que precisávamos de mais pesquisas e desenvolvimento para entender como a tecnologia funciona, os potenciais usos e riscos envolvidos. Também contei que parecia haver interesses comerciais ocultos de quem tinha ficado para trás: Elon Musk havia assinado a carta pedindo a pausa e, pouco depois, lançou a xAI.