O METR, órgão não lucrativo que mediu o progresso da IA, atualizou seu gráfico, mostrando que a IA continua a melhorar rapidamente, mas ainda enfrenta desafios em tarefas que exigem julgamento.

Tarefas mais complexas revelam limitações

A atualização incluiu novas tarefas que são estimadas para levar muito mais tempo para serem concluídas por humanos do que as tarefas originais. Isso reflete a dificuldade em aplicar técnicas de aprendizado de reforço a tarefas onde o sucesso é menos bem definido.

Embora os modelos de IA tenham se tornado excelentes em tarefas verificáveis, como codificação e matemática, elas ainda têm dificuldades em tarefas que exigem julgamento, como escolher uma nova direção de pesquisa.

Impacto na pesquisa e desenvolvimento de IA

A atualização do METR visa incorporar tarefas mais flexíveis e julgadas, que são cruciais para a automação de pesquisa e desenvolvimento de IA. Um exemplo disso é a solicitação de modelos para projetar novas avaliações de IA, que foram mal sucedidas em comparação com as criadas por humanos.