Évaluation comparative de l’AI

AutoModelRouter de KT se serait classé deuxième dans un benchmark mondial, plaçant l’efficacité de la sélection des modèles au cœur du déploiement de l’IA en entreprise.

Soutenue par Andreessen Horowitz, Vals a levé 40 millions de dollars pour bâtir un benchmarking d’IA confidentiel et fondé sur des tâches pour les entreprises et les agences fédérales, alors que les tests plus anciens s…

Les données de benchmark d’AWS suggèrent que les modèles OpenAI sur Amazon Bedrock peuvent réduire le coût des réponses correctes lorsque les équipes mesurent la qualité, le nombre de tours et les reprises.

Google DeepMind teste un benchmark cryptographiquement protégé en double aveugle pour Gemini Flash Lite, afin de réduire la contamination et de restaurer la confiance dans les évaluations d’IA.

Motif serait en tête d’un benchmark mondial de l’IA pour les modèles coréens, tandis que le secteur attend une deuxième évaluation de Dokpamo susceptible de vérifier si ce résultat se confirme.

Claude Opus 5 d’Anthropic a établi un nouveau record sur ARC-AGI-3, ravivant les questions sur de véritables gains de raisonnement versus l’optimisation pour le benchmark.

OpenAI affirme qu’environ 30 % des tâches de SWE-Bench Pro pourraient être cassées, ravivant les doutes sur la manière dont l’industrie de l’IA mesure les modèles de code.

Un nouveau système d’évaluation alimenté par l’IA générative révèle la domination de la Chine dans le secteur des véhicules autonomes et des robotaxis face à ses concurrents américains.

Google DeepMind lance des benchmarks Werewolf et poker sur Kaggle Game Arena pour tester les compétences sociales des IA, la détection de la tromperie et la gestion des risques. Les modèles Gemini 3 Pro et Flash montrent un bond de performance significatif par rapport à la génération précédente.