IA supera 94% dos virologistas em teste difícil criado pela elite da área

Além da alta dificuldade, as perguntas tinham de ser inéditas. Também deveria haver imagens autorais que contivessem elementos para a resposta que não estivessem no texto e à prova do Google, ou seja, as respostas não podiam ser encontradas online.

Questões foram revisadas por pares duas vezes e por um editor final. Cientistas tiveram o cuidado para a pessoa não revisar a própria pergunta e de forma anônima para garantir a liberdade dos apontamentos na revisão.

Participação humana é um diferencial do estudo. Outros testes usam IA para formular perguntas. No final, as 322 questões foram respondidas por três grupos: um de especialistas em virologia, um de não especialistas (com nível superior de educação em áreas como engenharia e matemática) e outro de inteligências artificiais.

Desses três grupos, com certeza, as IAs se saíram melhor e consistentemente melhor a cada novo modelo. Pedro Medeiros, pesquisador e coautor do estudo

Capacidade das IAs foi analisada em aspectos subjetivos. Os pesquisadores pediram aos especialistas que as perguntas envolvessem metodologias e problemas que, em tese, só eles poderiam resolver, que tivessem um quê de inesperado. Medeiros dá um exemplo: você pega a receita de bolo da sua mãe e reproduz à risca, mas o sabor e a textura não ficam exatamente iguais ao dela. E se algo der errado, você não entenderá o porquê. Existe um conhecimento baseado em intuição e prática que só a pessoa tem, não está em manuais nem é simples de explicar.

É algo da experiência e a gente tentou acessar esse aspecto no teste, porque, em teoria, um modelo de IA não teria tanto acesso a essa experiência humana. Pedro Medeiros, pesquisador