Aikido Security dit avoir utilisé 11,7 milliards de tokens dans le but d’identifier le modèle d’IA cyber le plus performant, plaçant le coût et la complexité de l’évaluation des modèles au cœur d’un sujet de recherche en cybersécurité.

Le rapport, intitulé « We burned 11.7bn tokens to find the best cyber AI model », est le seul élément substantiel du lot de sources fourni. Le texte complet de l’article n’étant pas disponible, il n’est pas possible d’établir de manière indépendante, à partir des éléments disponibles, quels modèles ont été testés, quelles tâches ont été utilisées, combien a été dépensé, quelle méthode de notation a été employée et quelle recommandation finale a été faite. Les deux entrées de source indexées sont également des doublons, et non des confirmations distinctes.

Pour les développeurs d’IA et les équipes de sécurité, le titre pointe néanmoins vers un problème pratique : choisir un modèle pour des travaux de sécurité n’est pas la même chose que choisir un modèle à partir d’un classement généraliste. Les résultats peuvent dépendre du type d’analyse de vulnérabilité, de la base de code, des données d’alerte, de l’accès aux outils, de la fenêtre de contexte et de la revue humaine utilisés pendant les tests.

Ce que l’expérience rapportée nous apprend — et ce qu’elle ne nous apprend pas

Le fait confirmé est limité. Aikido Security a publié un compte rendu décrivant une évaluation de 11,7 milliards de tokens visant à trouver le meilleur modèle d’IA cyber. Les preuves disponibles n’indiquent pas si ce chiffre correspond à des tokens d’entrée, des tokens de sortie ou à un total combiné. Elles ne révèlent pas non plus si le travail impliquait des interfaces de programmation d’applications hébergées, des modèles déployés localement, des boucles d’agents ou une combinaison de ces approches.

Ce détail manquant est important, car la consommation de tokens n’est pas une mesure directe de la qualité de la recherche. Une longue évaluation peut refléter une couverture large des tests, des requêtes répétées, des réessais automatisés, de vastes dépôts de code ou des flux de travail inefficaces. À l’inverse, un test plus réduit peut manquer des modes de défaillance importants. Sans protocole expérimental, les lecteurs ne peuvent pas déterminer si l’effort rapporté était un benchmark contrôlé, un exercice produit interne ou un essai plus large de modèles dans des flux de sécurité opérationnelle.

La source doit donc être considérée comme une affirmation d’évaluation rapportée par un fournisseur plutôt que comme un benchmark sectoriel indépendant. Rien dans le matériel fourni ne confirme que le classement final d’Aikido Security s’applique à l’ensemble des équipes de sécurité, des langages de programmation, des catégories de menaces ou des environnements de déploiement.

Pourquoi 11,7 milliards de tokens compte pour les acheteurs de modèles

L’usage des tokens est devenu une composante importante de l’économie des produits d’IA. Dans un flux de travail de défense cyber, un modèle peut traiter du code source, des fichiers de dépendances, des descriptions de vulnérabilités, des journaux, des tickets, des suggestions de remédiation et des résultats d’outils. Un agent qui revisite à plusieurs reprises ces éléments peut consommer beaucoup plus de tokens qu’une seule interaction question-réponse.

Cela rend le chiffre rapporté pertinent, même sans vainqueur dévoilé. Il suggère qu’une sélection sérieuse de modèle peut nécessiter un budget d’évaluation important lorsque les équipes testent plusieurs systèmes sur des tâches réalistes. Le coût ne se limite pas à l’accès au modèle. Les équipes d’ingénierie ont aussi besoin de bancs de test, de données représentatives, de règles de scoring, d’outils en environnement isolé et de relecteurs capables de distinguer une réponse plausible d’une réponse sûre et correcte.

Pour les acheteurs d’IA d’entreprise, la question clé n’est pas simplement quel modèle a obtenu le meilleur score. Il s’agit de savoir si le modèle peut fournir des résultats fiables à un coût acceptable tout en préservant le contrôle des données. Un modèle performant sur une tâche étroite de vulnérabilité peut être inadapté s’il doit envoyer du code source sensible à un fournisseur externe, produire des recommandations difficiles à auditer ou échouer lorsqu’un dépôt dépasse son contexte exploitable.

Les tests de cybersécurité exigent plus que des classements de modèles

Une évaluation utile d’un modèle d’IA cyber devrait distinguer plusieurs capacités. La compréhension du code et la découverte de vulnérabilités sont différentes de l’explication de l’exploitabilité, de la proposition d’un correctif, de la validation de ce correctif ou de la priorisation des constats pour une équipe de sécurité. L’utilisation d’outils ajoute une autre couche : un agent peut trouver davantage de problèmes s’il peut parcourir les fichiers, exécuter des tests, inspecter les dépendances ou interroger un scanner, mais ces autorisations créent aussi des enjeux de sécurité et de gouvernance.

La source disponible ne précise pas quelle dimension Aikido Security a mesurée. Cela empêche une comparaison pertinente entre le résultat rapporté et les benchmarks d’IA existants. Cela laisse aussi ouverte la question de savoir si l’expérience mesurait l’exactitude, le rappel, les faux positifs, la qualité de la remédiation, la latence, le coût ou la productivité humaine.

Cette distinction est importante pour les équipes produit qui développent des assistants de codage et des outils de sécurité de l’IA. Un modèle peut sembler puissant dans une démonstration tout en créant des frictions opérationnelles en raison d’alertes excessives, de modifications de code dangereuses ou de recommandations nécessitant une revue manuelle approfondie. Les flux de travail de sécurité valorisent généralement des décisions cohérentes et explicables plutôt que de simples réponses fluides.

Implications pour les créateurs et les équipes d’entreprise

Les créateurs qui évaluent des modèles d’IA pour la sécurité devraient considérer le coût en tokens rapporté par Aikido Security comme un rappel de définir la décision avant de lancer le test. Les équipes doivent préciser quelles tâches comptent, ce qu’est une réponse correcte, comment les relecteurs humains noteront les résultats et comment le coût de l’activité répétée des agents sera calculé.

Ils devraient également tester les comportements en cas d’échec. Un modèle qui refuse les demandes incertaines, identifie les preuves manquantes et évite d’entreprendre des actions non autorisées peut être plus utile qu’un modèle qui génère des correctifs convaincants mais fragiles. Les évaluations devraient inclure des dépôts et des alertes ressemblant aux conditions de production, tout en protégeant le code confidentiel et les données clients.

Pour les programmes d’IA d’entreprise, l’architecture de déploiement peut compter autant que le modèle. Les équipes doivent comparer les options hébergées et autogérées, les politiques de journalisation et de rétention, les contrôles d’accès, les autorisations d’outils et la capacité à reproduire une recommandation. Ces facteurs peuvent déterminer si un système de sécurité IA est déployable, même si son score technique brut est élevé.

L’article met aussi en lumière un défi de marché. La performance des modèles est de plus en plus spécifique à une tâche, tandis que les fournisseurs présentent souvent les résultats au moyen de tests propriétaires. Les acheteurs ont besoin de suffisamment de détails méthodologiques pour reproduire ou contester ces affirmations. Un total de tokens mis en avant attire l’attention, mais il n’identifie pas à lui seul le meilleur modèle pour une opération de sécurité donnée.

Ce qu’il faut surveiller ensuite

Le suivi le plus important est un compte rendu complet d’Aikido Security. Les lecteurs auront besoin de la liste des modèles testés, des catégories de tâches, de l’ensemble de données d’évaluation, des critères de notation et d’une ventilation de la manière dont les 11,7 milliards de tokens ont été répartis.

Il sera également important de voir si Aikido Security nomme un modèle gagnant et publie des résultats comparatifs, des exemples d’erreurs ou des données de coût par tâche. Une réplication indépendante fournirait une base plus solide pour juger l’affirmation que l’enregistrement actuel, contrôlé par le fournisseur.

Les équipes de sécurité devraient surveiller des preuves au-delà des classements de titre : taux de faux positifs, validation des correctifs, performances sur du code inconnu, sécurité de l’utilisation des outils, latence et effet de la revue humaine. Ces mesures sont plus susceptibles de prédire si un modèle d’IA cyber peut soutenir le travail en production.

Point de vue de Creati.ai

L’expérience rapportée par Aikido Security de 11,7 milliards de tokens mérite l’attention parce qu’elle présente la sélection de modèles comme un problème d’ingénierie et de coût d’exploitation, pas seulement comme un exercice de classement. Mais les preuves disponibles sont trop limitées pour conclure quel modèle est réellement le meilleur.

La leçon utile pour les créateurs d’IA est méthodologique : des tests à grande échelle peuvent révéler des différences que des démonstrations courtes manquent, mais l’échelle seule ne rend pas un benchmark crédible. Tant que le protocole sous-jacent et les résultats ne sont pas disponibles, le rapport est mieux compris comme un signal de l’exigence potentielle de l’évaluation de l’IA cyber — et non comme une preuve d’un vainqueur définitif du marché.