AI-Benchmarking

KTs AutoModelRouter belegte Berichten zufolge Platz zwei in einem globalen Benchmark und stellt damit die Effizienz der Modellauswahl in den Mittelpunkt des Enterprise-AI-Einsatzes.

Vals, unterstützt von Andreessen Horowitz, hat 40 Millionen Dollar eingesammelt, um vertrauliches, auf Aufgaben basierendes KI-Benchmarking für Unternehmen und Bundesbehörden zu entwickeln, da ältere Tests s…

AWS-Benchmarkdaten deuten darauf hin, dass OpenAI-Modelle auf Amazon Bedrock die Kosten für korrekte Antworten senken können, wenn Teams Qualität, Anzahl der Durchläufe und Nacharbeit messen.

Google DeepMind testet einen kryptografisch geschützten Double-Blind-Benchmark für Gemini Flash Lite mit dem Ziel, Kontamination zu reduzieren und das Vertrauen in KI-Bewertungen wiederherzustellen.

Motif führt Berichten zufolge einen globalen KI-Benchmark für koreanische Modelle an, während die Branche eine zweite Dokpamo-Bewertung erwartet, die testen könnte, ob das Ergebnis Bestand hat.

Anthropics Claude Opus 5 erzielte einen neuen Spitzenwert bei ARC-AGI-3 und wirft damit neue Fragen auf: echte Reasoning-Fortschritte oder gezielte Benchmark-Optimierung?

OpenAI sagt, etwa 30 % der SWE-Bench-Pro-Aufgaben könnten fehlerhaft sein, was neue Zweifel daran weckt, wie die KI-Branche Coding-Modelle misst.

Ein neues, auf generativer KI basierendes Benchmarking-System offenbart Chinas Dominanz im Sektor autonomer Fahrzeuge und Robotaxis gegenüber US-Konkurrenten.

Google DeepMind führt auf der Kaggle Game Arena Benchmarks für Werewolf und Poker ein, um soziale Fähigkeiten von KI, Täuschungserkennung und Risikomanagement zu testen. Die Modelle Gemini 3 Pro und Flash zeigen einen deutlichen Leistungssprung gegenüber der vorherigen Generation.