Aikido Security diz ter usado 11,7 bilhões de tokens em um esforço para identificar o modelo de IA para cibersegurança mais forte, colocando o custo e a complexidade da avaliação de modelos no centro de uma reportagem de pesquisa em cibersegurança.

O relatório, intitulado “We burned 11.7bn tokens to find the best cyber AI model”, é o único item substantivo no conjunto de fontes fornecido. Como o texto completo do artigo não está disponível, os modelos específicos testados, as tarefas usadas, os gastos, o método de pontuação e a recomendação final não podem ser estabelecidos de forma independente com base nas evidências disponíveis. As duas entradas indexadas de origem também são duplicatas, e não confirmações separadas.

Para construtores de IA e equipes de segurança, o título ainda aponta para um problema prático: selecionar um modelo para trabalho de segurança não é o mesmo que escolher um modelo em um ranking geral. Os resultados podem depender do tipo de análise de vulnerabilidade, da base de código, dos dados de alertas, do acesso a ferramentas, da janela de contexto e da revisão humana usados durante o teste.

O que o experimento relatado nos diz — e o que não diz

O fato confirmado é restrito. Aikido Security publicou um relato descrevendo uma avaliação de 11,7 bilhões de tokens destinada a encontrar o melhor modelo de IA para cibersegurança. As evidências disponíveis não identificam se esse número representa tokens de entrada, tokens de saída ou um total combinado. Também não revelam se o trabalho envolveu interfaces de programação de aplicativos hospedadas, modelos implantados localmente, loops de agentes ou uma mistura de abordagens.

Esse detalhe ausente importa porque o consumo de tokens não é uma medida direta da qualidade da pesquisa. Uma avaliação longa pode refletir ampla cobertura de testes, prompts repetidos, tentativas automáticas, grandes repositórios de código ou fluxos de trabalho ineficientes. Por outro lado, um teste menor pode deixar passar modos de falha importantes. Sem o protocolo experimental, os leitores não conseguem determinar se o esforço relatado foi um benchmark controlado, um exercício interno de produto ou um teste mais amplo de modelos em fluxos operacionais de segurança.

A fonte, portanto, deve ser tratada como uma alegação de avaliação reportada pelo fornecedor, e não como um benchmark independente da indústria. Nada no material fornecido confirma que a classificação final de Aikido Security se aplique a equipes de segurança, linguagens de programação, categorias de ameaça ou ambientes de implantação.

Por que 11,7 bilhões de tokens importa para compradores de modelos

O uso de tokens tornou-se uma parte material da economia dos produtos de IA. Em um fluxo de trabalho de defesa cibernética, um modelo pode processar código-fonte, arquivos de dependência, descrições de vulnerabilidades, logs, tickets, sugestões de correção e resultados de ferramentas. Um agente que revisita repetidamente esses materiais pode consumir muito mais tokens do que uma única interação de pergunta e resposta.

Isso torna o número reportado relevante mesmo sem um vencedor divulgado. Ele sugere que a seleção séria de modelos pode exigir um orçamento substancial de avaliação quando as equipes testam vários sistemas em tarefas realistas. O custo não se limita ao acesso ao modelo. As equipes de engenharia também precisam de estruturas de teste, dados representativos, regras de pontuação, ferramentas em sandbox e revisores capazes de distinguir uma resposta plausível de uma segura e correta.

Para compradores de IA empresarial, a pergunta principal não é simplesmente qual modelo obteve a maior pontuação. É se o modelo consegue entregar resultados confiáveis a um custo aceitável, preservando os controles de dados. Um modelo que tenha bom desempenho em uma tarefa estreita de vulnerabilidade pode ser inadequado se exigir enviar código-fonte sensível a um fornecedor externo, produzir recomendações difíceis de auditar ou falhar quando um repositório excede seu contexto utilizável.

Testes de cibersegurança precisam de mais do que rankings de modelos

Uma avaliação útil de um modelo de IA para cibersegurança deve separar várias capacidades. Compreensão de código e descoberta de vulnerabilidades são diferentes de explicar explorabilidade, propor um patch, validar esse patch ou priorizar achados para uma equipe de segurança. O uso de ferramentas adiciona outra camada: um agente pode localizar mais problemas quando consegue pesquisar arquivos, executar testes, inspecionar dependências ou consultar um scanner, mas essas permissões também criam preocupações de segurança e governança.

A fonte disponível não informa qual dessas dimensões Aikido Security mediu. Isso impede uma comparação significativa entre o resultado relatado e os benchmarks de IA existentes. Também deixa em aberto se o experimento mediu precisão, recall, taxas de falso positivo, qualidade da correção, latência, custo ou produtividade humana.

Essa distinção é importante para equipes de produto que criam assistentes de programação e ferramentas de segurança de IA. Um modelo pode parecer forte em uma demonstração, mas criar atrito operacional por meio de alertas excessivos, mudanças de código inseguras ou recomendações que exigem revisão manual extensa. Fluxos de trabalho de segurança geralmente valorizam decisões consistentes e explicáveis, não apenas respostas fluentes.

Implicações para construtores e equipes corporativas

Construtores que avaliam modelos de IA para segurança devem ver o gasto de tokens relatado por Aikido Security como um lembrete de definir a decisão antes de executar o teste. As equipes precisam especificar quais tarefas importam, o que constitui uma resposta correta, como revisores humanos vão pontuar os resultados e como será calculado o custo da atividade repetida dos agentes.

Eles também devem testar o comportamento de falha. Um modelo que rejeita solicitações incertas, identifica evidências faltantes e evita tomar ações não autorizadas pode ser mais útil do que um que gera correções convincentes, mas frágeis. As avaliações devem incluir repositórios e alertas que se assemelhem às condições de produção, enquanto protegem código confidencial e dados de clientes.

Para programas de IA empresarial, a arquitetura de implantação pode ser tão importante quanto o modelo. As equipes precisam comparar opções hospedadas e autogerenciadas, políticas de registro e retenção, controles de acesso, permissões de ferramentas e a capacidade de reproduzir uma recomendação. Esses fatores podem determinar se um sistema de segurança de IA é implantável, mesmo que sua pontuação técnica bruta seja forte.

A história também destaca um desafio de mercado. O desempenho dos modelos é cada vez mais específico da tarefa, enquanto os fornecedores frequentemente apresentam os resultados por meio de testes proprietários. Os compradores precisam de detalhes metodológicos suficientes para reproduzir ou contestar essas alegações. Um total de tokens em destaque chama atenção, mas por si só não identifica o melhor modelo para uma operação específica de segurança.

O que observar a seguir

O acompanhamento mais importante é um relato completo da Aikido Security. Os leitores vão precisar da lista de modelos testados, das categorias de tarefas, do conjunto de dados de avaliação, dos critérios de pontuação e de uma divisão de como os 11,7 bilhões de tokens foram distribuídos.

Também será importante ver se a Aikido Security nomeia um modelo vencedor e publica resultados comparativos, exemplos de erros ou dados de custo por tarefa. Uma replicação independente forneceria uma base mais sólida para julgar a alegação do que o atual registro de fonte controlado pelo fornecedor.

As equipes de segurança devem observar evidências além dos rankings de manchete: taxas de falso positivo, validação de correções, desempenho em código desconhecido, segurança no uso de ferramentas, latência e o efeito da revisão humana. Essas métricas têm mais probabilidade de prever se um modelo de IA para cibersegurança pode dar suporte ao trabalho em produção.

Perspectiva da Creati.ai

O experimento relatado pela Aikido Security de 11,7 bilhões de tokens é notícia porque enquadra a seleção de modelos como um problema de engenharia e de custo operacional, e não apenas como um exercício de ranking. Mas as evidências disponíveis são محدودadas demais para sustentar uma conclusão sobre qual modelo é realmente o melhor.

A lição útil para construtores de IA é metodológica: testes em larga escala podem revelar diferenças que demonstrações curtas deixam passar, mas escala por si só não torna um benchmark confiável. Até que o protocolo subjacente e os resultados estejam disponíveis, o relatório é melhor lido como um sinal de quão exigente pode se tornar a avaliação de IA para cibersegurança — e não como prova de um vencedor definitivo do mercado.