AI-Benchmarks

GitHub stellt mit dem offenen Benchmark ReviewBench einen klareren Ansatz zum Testen von KI-Code-Review-Agenten bereit und gibt Entwicklern und Käufern eine gemeinsame Ausgangsbasis für Evaluierungen.

AWS-Benchmarkdaten deuten darauf hin, dass OpenAI-Modelle auf Amazon Bedrock die Kosten für korrekte Antworten senken können, wenn Teams Qualität, Anzahl der Durchläufe und Nacharbeit messen.

Das 27B-Local-Modell von StartLux soll in einem China-Benchmark mehr Punkte erzielt haben als DeepSeek V4 Flash und wirft Fragen zu Edge-AI-Leistung und Nachweisbarkeit auf.

Aikido Security sagt, es habe 11,7 Milliarden Tokens für den Vergleich von Cyber-KI-Modellen ausgegeben und wirft damit Fragen zu Benchmark-Design, Kosten und Belegen für Käufer auf.

Insilico Medicine hat einen DDD Benchmark as a Service gestartet, um Frontier-KI und Foundation Models an realen Aufgaben der Arzneimittelforschung und -entwicklung zu testen.

Kimi K3 von Moonshot führt bei Code Arena: Frontend, liegt aber bei FrontierMath Tier 4 hinter den führenden OpenAI- und Anthropic-Modellen zurück und zeigt damit uneinheitliche Modellstärken.

Fünf KI-Labs sollen eine gemeinsame Skala zur Bewertung von Jailbreaks bis zum 1. August unterstützen – ein früher Schritt hin zu vergleichbareren Sicherheitstests für KI-Modelle.

OpenAI hat GeneBench-Pro vorgestellt, ein Genomik-Benchmark, der höherstufiges wissenschaftliches Denken messen soll, während KI-Labore in biologische Workflows vordringen.

Arena, das beliebte kostenlose Startup für KI-Modell-Rankings, startete seinen kommerziellen Dienst im vergangenen September und ist inzwischen zu einem 100-Millionen-Dollar-Geschäft herangewachsen.

Eine CAISI-Bewertung sagt, dass DeepSeek V4 Pro Chinas stärkstes Modell ist, aber dennoch hinter führenden US-Frontier-KI-Systemen zurückbleibt.

Ein strenger neuer Benchmark testete führende KI-Modelle bei Aufgaben im Investmentbanking; keine Ausgabe wurde als kundenreif eingestuft, obwohl die Hälfte der Banker darin einen brauchbaren Ausgangspunkt sah.

Ein neuer Benchmark zeigt, dass selbst die besten KI-Modelle bei der Analyse komplizierter Diagramme etwa 50 % an Genauigkeit verlieren und damit eine zentrale Grenze des visuellen Denkens offenlegen.

Das verbesserte Modell Google Gemini 3 Deep Think zeigt in den neuesten Benchmark-Tests eine bessere Leistung als GPT-5.2 von OpenAI und Claude Opus 4.6 von Anthropic.

Claude Opus 4.6 erzielt Durchbruchsergebnisse mit 65.4% bei Terminal-Bench und 72.7% bei OSWorld und übertrifft damit den Gemini 3 Flash in realen Arbeitsanwendungen.