Dernières Actualités et Analyses sur Benchmarks de l’IA
Le benchmark ouvert ReviewBench de GitHub vise à offrir une méthode plus claire pour tester les agents de revue de code IA, en donnant aux développeurs et aux acheteurs un point de départ commun pour l’évaluation.
Les données de benchmark d’AWS suggèrent que les modèles OpenAI sur Amazon Bedrock peuvent réduire le coût des réponses correctes lorsque les équipes mesurent la qualité, le nombre de tours et les reprises.
Le modèle local 27B de StartLux aurait obtenu un score supérieur à DeepSeek V4 Flash dans un benchmark chinois, soulevant des questions sur les performances de l’IA en périphérie et sur la preuve.
Aikido Security dit avoir dépensé 11,7 milliards de tokens à comparer des modèles d’IA cyber, soulevant des questions sur la conception des benchmarks, les coûts et les preuves pour les acheteurs.
Insilico Medicine a lancé un DDD Benchmark as a Service pour tester les IA de pointe et les modèles fondamentaux face à des tâches réelles de découverte et de développement de médicaments.
Le Kimi K3 de Moonshot domine Code Arena: Frontend, mais reste derrière les meilleurs modèles d'OpenAI et d'Anthropic sur FrontierMath Tier 4, soulignant une force inégale du modèle.
Selon les informations disponibles, cinq laboratoires d’IA soutiendraient une échelle commune de notation du jailbreak d’ici le 1er août, une première étape vers des tests de sécurité des modèles d’IA plus comparables.
OpenAI a dévoilé GeneBench-Pro, un benchmark de génomique destiné à mesurer un raisonnement scientifique de niveau supérieur alors que les laboratoires d’IA s’aventurent davantage dans les workflows biologiques.
Arena, la start-up populaire et gratuite de classement de modèles d’IA, a lancé son service commercial en septembre dernier et représente désormais une activité de 100 millions de dollars.
Une évaluation du CAISI indique que DeepSeek V4 Pro est le modèle le plus puissant de Chine, mais qu’il reste derrière les principaux systèmes d’IA de pointe américains.
Un nouveau benchmark rigoureux a testé les principaux modèles d’IA sur des tâches de banque d’investissement ; aucune production n’a été jugée prête pour un client, bien que la moitié des banquiers y ait vu une base de départ utile.
Un nouveau benchmark révèle que même les meilleurs modèles d'IA perdent environ 50 % de précision lorsqu'ils analysent des graphiques complexes, mettant en évidence une limite majeure du raisonnement visuel.
Le modèle amélioré Google Gemini 3 Deep Think démontre des performances supérieures à celles de GPT-5.2 d'OpenAI et de Claude Opus 4.6 d'Anthropic dans les derniers tests de benchmark.
Claude Opus 4.6 atteint des performances révolutionnaires avec 65.4% sur Terminal-Bench et 72.7% sur OSWorld, dépassant le Gemini 3 Flash dans des applications professionnelles réelles.
