METR diz que o progresso dos modelos da Anthropic quase dobrou, com a IA impulsionando a maior parte da aceleração

As capacidades dos modelos da Anthropic parecem estar melhorando a aproximadamente o dobro do ritmo anterior, segundo a cobertura de uma nova estimativa do grupo Model Evaluation and Threat Research (METR). As reportagens também atribuem cerca de 80% dessa aceleração ao trabalho assistido por IA, uma descoberta que pode intensificar o debate sobre se a IA já está mudando o ritmo da própria pesquisa em IA.

A afirmação foi noticiada por MLQ.ai e Unite.AI, que descreveram a estimativa da METR de maneira semelhante. O material de fonte disponível não inclui a publicação original da METR, sua metodologia nem os dados de benchmark por trás do cálculo. Isso torna o resultado importante, mas provisório: ele deve ser lido como uma descoberta de pesquisa reportada, e não como uma medida plenamente verificada de forma independente do processo interno de desenvolvimento da Anthropic.

O que dizem as reportagens

A principal conclusão é que o crescimento das capacidades dos modelos da Anthropic “dobrou aproximadamente” ou “quase dobrou”, dependendo da formulação usada pelas duas reportagens. Elas também dizem que a IA responde por aproximadamente 80% do aumento observado na velocidade do progresso.

Esses números apontam para duas afirmações relacionadas. A primeira diz respeito ao ritmo em que os modelos da Anthropic estão melhorando. A segunda trata da causa dessa mudança: o trabalho assistido por IA é apresentado como o principal fator, e não como uma ajuda secundária à produtividade.

As evidências fornecidas para esta matéria não identificam quais modelos da Anthropic foram avaliados, quais capacidades a METR mediu ou qual período foi usado como base de comparação. Também não estabelecem se a estimativa se aplica amplamente ao desenvolvimento de modelos ou a uma classe mais restrita de tarefas de pesquisa e engenharia.

Essa distinção é importante. Um aumento mais rápido na pontuação de uma avaliação definida não significaria automaticamente que todas as partes do desenvolvimento de modelos aceleraram na mesma proporção. Da mesma forma, uma estimativa de que a IA contribuiu para os resultados de pesquisa não demonstraria necessariamente que a IA gerou de forma independente as descobertas fundamentais.

Por que a estimativa importa para quem desenvolve IA

Se a interpretação divulgada estiver correta, a pesquisa assistida por IA se tornará um fator mais relevante na competição entre modelos. Equipes que desenvolvem modelos de base poderiam usar sistemas internos de IA para geração de código, planejamento de experimentos, depuração, documentação, análise de dados e avaliação. Melhorias nesses fluxos de trabalho poderiam reduzir o tempo entre uma ideia e um resultado testado.

Para equipes de produto e fundadores, a lição relevante tem menos a ver com um único resultado da Anthropic e mais com o ciclo de retroalimentação que ele sugere. Modelos melhores podem ajudar pesquisadores a construir modelos melhores, que por sua vez podem aperfeiçoar as ferramentas usadas no ciclo seguinte de desenvolvimento. Mesmo uma automação parcial poderia aumentar o número de experimentos que uma equipe consegue executar ou reduzir o tempo de engenharia necessário para investigar um resultado malsucedido.

Os efeitos comerciais não seriam distribuídos de maneira uniforme. Grandes laboratórios com amplo poder computacional, dados proprietários e sistemas de avaliação maduros podem estar mais bem posicionados para capturar valor do trabalho assistido por IA do que equipes menores. Ao mesmo tempo, assistentes de programação amplamente disponíveis e agentes de IA podem permitir que grupos menores automatizem partes de seus processos de pesquisa e produto sem reproduzir toda a infraestrutura de um laboratório de fronteira.

Para compradores de IA empresarial, a afirmação também lembra que é preciso separar a qualidade do modelo da produtividade organizacional. Um modelo mais capaz pode melhorar ferramentas internas de desenvolvimento, mas os ganhos dependerão de processos de revisão, controles de acesso, reprodutibilidade e capacidade de detectar erros que parecem plausíveis. Iterar mais rápido só é útil se as equipes conseguirem determinar quais resultados são confiáveis.

Evidências e limites da afirmação

As afirmações numéricas mais fortes desta matéria são atribuídas à METR por meio das reportagens de MLQ.ai e Unite.AI. Nenhuma das duas forneceu, nos trechos disponíveis, uma citação direta, um link para a análise subjacente da METR ou as definições técnicas necessárias para reproduzir a estimativa.

Isso deixa várias perguntas sem resposta. A METR pode estar medindo o crescimento das capacidades por meio de uma estrutura de avaliação específica, em vez de tentar quantificar todas as dimensões do progresso de pesquisa da Anthropic. A frase “a IA impulsiona cerca de 80% da aceleração” também pode descrever um modelo de atribuição baseado em fluxos de trabalho observados, pesquisas com pesquisadores, comparações históricas ou outro método. Sem a documentação original, os leitores não podem avaliar como esse percentual foi calculado.

O resultado, portanto, não deve ser tratado como prova de que os modelos da Anthropic estão melhorando a uma taxa uniforme, de que a IA realizou 80% da pesquisa relevante ou de que o mesmo padrão se aplica à OpenAI, Google, Meta ou desenvolvedores menores de modelos. Trata-se de uma estimativa reportada, e as evidências disponíveis aqui são limitadas demais para validar seu alcance.

Essa cautela é especialmente importante porque benchmarks de capacidade podem ser sensíveis à seleção de tarefas, ao desenho da avaliação e a mudanças na forma como os modelos são solicitados ou usados. Uma aceleração medida pode refletir produtividade real de pesquisa, ferramentas melhores, dados melhores, computação adicional ou uma combinação desses fatores.

O que observar a seguir

O próximo sinal importante é a publicação original da METR. Pesquisadores e desenvolvedores devem procurar a definição da avaliação, o intervalo de tempo, os sistemas da Anthropic incluídos e o método usado para atribuir ganhos ao trabalho assistido por IA.

Um segundo sinal será saber se a estimativa é replicada em outros laboratórios e famílias de tarefas. Evidências comparáveis de estudos independentes poderiam mostrar se a aceleração relatada é específica da Anthropic ou parte de uma mudança mais ampla na produtividade da pesquisa em IA.

Terceiro, é preciso observar evidências operacionais dos desenvolvedores de modelos: ciclos de experimentação mais curtos, conjuntos de avaliação automatizada maiores, maior uso de assistentes de programação ou novos agentes internos de IA para fluxos de pesquisa. Esses sinais não provariam a estimativa da METR por si só, mas poderiam mostrar como as equipes de fronteira estão tentando transformar capacidade de modelo em velocidade de desenvolvimento.

Por fim, equipes empresariais devem acompanhar métricas de confiabilidade juntamente com as alegações de produtividade. Se o trabalho assistido por IA aumentar a produção, mas também elevar as cargas de revisão, os riscos de segurança ou os problemas de reprodutibilidade, o benefício líquido pode ser menor do que sugere o número principal.

A perspectiva da Creati.ai

A estimativa reportada pela METR importa porque chama atenção para uma fonte menos visível do progresso da IA: o uso de IA dentro das organizações que constroem sistemas de IA. Se a atribuição for sólida, a competição poderá depender cada vez mais não apenas da arquitetura dos modelos e da computação, mas também da eficiência com que as equipes integram a IA à pesquisa, à engenharia e à avaliação.

Mas a manchete numérica merece cautela neste momento. Como a análise subjacente não está disponível nas evidências fornecidas, a conclusão mais defensável é que a METR relatou uma aceleração potencialmente significativa, e não que o setor tenha estabelecido uma lei universal do progresso impulsionado por IA. Os desenvolvedores devem consultar a metodologia antes de transformar a estimativa em uma premissa de planejamento.