Usa IA para criar textos e ideias? Estudo aponta falhas em 97% das tarefas

Diferentemente de avaliações comuns, que medem raciocínio lógico ou acerto em perguntas fechadas, o estudo apostou em projetos completos e abertos. Os modelos receberam briefings idênticos aos usados em plataformas de trabalho remoto, com prazos e critérios de qualidade semelhantes aos exigidos por clientes reais. A ideia era observar se a IA conseguiria conduzir todo o fluxo de trabalho, do início ao fim, sem intervenção humana significativa.

Para tentar responder a essa questão, os pesquisadores criaram o Índice de Trabalho Remoto (RLI, na sigla em inglês). O indicador reúne projetos reais de trabalho remoto, com valor concreto, usados para medir como sistemas de IA se saem em tarefas práticas do dia a dia profissional. O resultado mostrou que, mesmo entre as IAs mais avançadas, o desempenho ficou muito baixo: a melhor taxa de automação registrada foi a do Manus, com apenas 2,5%.

Os projetos tinham diferentes níveis de complexidade e incluíam tarefas como visualização de dados, animações em 2D ou 3D para apresentar produtos e demandas de arquitetura. O custo total chegava a mais de US$ 10.000, com tempos de conclusão superiores a 100 horas. O diferencial dos testes foi a exigência de uma entrega profissional e não apenas medir o acerto de respostas. E foi justamente aí que a maioria das IAs falhou.

Mesmo os modelos mais avançados tiveram taxas de automação muito baixas: nenhuma acima de 2,5%. Na prática, isso significa que quase todos os projetos exigiriam correções ou teriam que ser refeitos por humanos. Segundo os pesquisadores, as falhas não se limitam a erros pontuais, mas envolvem dificuldades estruturais, como entender ambiguidades do briefing, manter consistência ao longo de tarefas e adaptar decisões conforme surgem novos problemas. Além disso, diferentemente dos humanos, que se ajustam a partir de feedbacks e erros anteriores, a IA não apresenta aprendizado contínuo durante o desenvolvimento dos projetos. O estudo também mostrou que a automação das IAs falha quando os modelos são confrontados com demandas abertas e reais, que exigem adaptação e tomada de decisão ao longo do processo.

Os resultados vão na contramão das previsões mais alarmistas de que a IA vai substituir os profissionais criativos em breve. De acordo com o experimento, pelo menos por enquanto, os sistemas funcionam melhor como ferramentas de apoio do que como agentes autônomos, capazes de assumir projetos inteiros. A IA já muda processos e acelera etapas, mas ainda está longe de replicar sozinha o trabalho completo. No entanto, isso não significa que o avanço da tecnologia vá estagnar. Os próprios autores destacam melhora gradual no desempenho dos modelos ao longo do tempo.

Veja também: ORKUT VAI VOLTAR???? Perguntamos para o criador da rede social!