OpenAI anuncia nova inteligência artificial que revisa erros no ChatGPT

O CriticGPT é baseado nos modelos GPT-4, desenvolvidos para aprender com o feedback humano por meio de um sistema conhecido como Reinforcement Learning from Human Feedback (RLHF). Essa tecnologia avalia as respostas do ChatGPT com base em comparações feitas por treinadores de IA.

Embora as sugestões do CriticGPT nem sempre sejam corretas, elas ajudam os treinadores a identificar um maior número de problemas nas respostas dos modelos.

A flexibilidade desse novo formato de IA permite sua adaptação para várias atividades de treinamento, além da revisão de códigos de programação.

Em testes, o novo modelo foi aplicado a um subconjunto de dados de treinamento do ChatGPT que haviam sido classificados como "perfeitos" pelos treinadores humanos. O novo modelo identificou erros e imprecisões em 24% desses casos, anteriormente considerados impecáveis.

No entanto, o CriticGPT ainda apresenta algumas limitações. Por exemplo, ele foi treinado com base em informações relativamente curtas geradas pelo ChatGPT, e não está claro como ele se sairá em tarefas mais extensas e complexas. Além disso, como qualquer inteligência artificial, ele também pode apresentar suas próprias falhas e até erros graves.

A OpenAI tem a intenção de adicionar o CriticGPT ao seu sistema de aprendizado por reforço orientado por feedback humano, com o objetivo de proporcionar suporte de IA aos seus treinadores e tornar mais fácil a avaliação dos resultados de serviços como o ChatGPT.