Praxisbenchmark zeigt, dass Coding-Agenten bei den meisten Aufgaben weiterhin menschliche Nacharbeit benötigen
Alibabas Co-Design Bench zeigt, dass führende Coding-Agenten nur 26,4 % realer Aufgaben zur Änderung von Apps vollständig lösen und Lücken offenlegen, die ältere Tests verbergen.
Laut einem neuen Benchmark, der auf realen Nutzeranfragen basiert, können KI-Coding-Agenten einen großen Teil einer Softwareänderung erledigen, ohne ein vollständig funktionierendes Ergebnis zu liefern. Der Test ergab, dass selbst das stärkste System nur in 26,4 % der Fälle alle erforderlichen Teile einer Aufgabe abschloss. Damit blieb bei fast drei von vier Aufgaben menschliche Nacharbeit nötig.
Der Benchmark namens Co-Design Bench wurde von Forschern von Alibaba und mehreren asiatischen Universitäten entwickelt. Wie The Decoder berichtet, bewertet er Agenten anhand von Änderungen an bestehenden Webanwendungen statt anhand isolierter Programmieraufgaben. Die Aufgaben können visuelle Referenzen, Audio, Video und Dokumente umfassen und spiegeln damit die gemischten Eingaben wider, die Produkt- und Entwicklungsteams KI-Tools zunehmend geben.
Ein härterer Test für Coding-Agenten
Co-Design Bench soll eine von den Forschern beschriebene Sättigung etablierter Coding-Evaluierungen adressieren. Wenn Modelle ihren eigenen Code ausführen, überprüfen und reparieren können, erreichen sie bei einigen älteren Benchmarks mehr als 99 %, sodass kaum noch Spielraum bleibt, die Systeme voneinander zu unterscheiden.
Der neue Test stützt sich stattdessen auf Anfragen aus tatsächlichen Coding-Sitzungen. Die Forscher wählten Fälle aus, in denen Nutzer ihre Anfragen bereits neu formulieren oder erfolglose Änderungen zurücknehmen mussten. Die Aufgaben reichen von relativ begrenzten Arbeiten, etwa dem Extrahieren eines Betrags aus einer Quittung und dem Aktualisieren zugehöriger Summen, bis hin zu umfassenderen Neugestaltungen von Anwendungen.
Damit ist der Benchmark weniger repräsentativ für eine saubere, in sich geschlossene Programmieraufgabe und stärker für die unübersichtliche Arbeit an einem laufenden Produkt. Zugleich bedeutet dies, dass die Ergebnisse nicht als universelles Maß für jeden Coding-Workflow gelesen werden sollten. Sie verdeutlichen jedoch die Lücke zwischen der Erzeugung plausibel wirkenden Codes und der vollständigen Erledigung einer Nutzeranfrage.
Die Belege hinter dem Ergebnis von 26,4 %
Laut dem von The Decoder beschriebenen Paper war GPT-6 Astra unter den zehn getesteten Modellen der Spitzenreiter. Im Durchschnitt erfüllte es etwa 70 % der Aufgabenanforderungen, löste aber nur 26,4 % der Aufgaben vollständig. Eine Aufgabe galt erst dann als abgeschlossen, wenn alle erforderlichen Funktionen in der Anwendung funktionierten.
Claude Opus 5 und Qwen3.8-Max folgten GPT-6 Astra in der gemeldeten Rangliste, während Grok 4.6 den letzten Platz belegte. Bei größeren Überarbeitungen von Anwendungen stieg das kleinere Modell Qwen3.8-27B auf den zweiten Platz auf, wobei die Forscher dieses Ergebnis nicht als Beleg für einen allgemeinen Vorteil des Modells werteten.
Auch der Bewertungsprozess war strenger als eine einfache Codeprüfung. Ein automatisierter Prüfer testete die fertige Anwendung in einem Browser, während ein zweiter Prüfer positive Ergebnisse kontrollierte und nach visuellen Mock-ups, hartcodierten Ausgaben oder anderen Abkürzungen suchte, die den Eindruck erwecken könnten, eine Anfrage sei erfüllt, ohne das zugrunde liegende Verhalten zu implementieren.
Dies sind Forschungsergebnisse und keine unabhängig verifizierten Messungen zur Verbreitung oder Produktivität. Die Autoren des Benchmarks räumen ein, dass die automatisierten Prüfer Fehler machen können. Außerdem verwenden die Aufgaben eine einzige feste Anfrage statt eines Live-Dialogs, in dem ein Nutzer Fragen beantworten oder einen Agenten während der Arbeit korrigieren kann. Die Ergebnisse zeigen daher, wo Agenten unter diesem Testaufbau Schwierigkeiten hatten, nicht den genauen Umfang menschlicher Arbeit in jeder Produktionsumgebung.
Das Modell ist nur ein Teil des Systems
Eine der wichtigsten Erkenntnisse des Benchmarks betrifft das Agenten-Harness: die Softwareumgebung, die es einem Modell ermöglicht, Dateien zu lesen, Code zu ändern, Anwendungen auszuführen und Ergebnisse zu überprüfen. In einem separaten Vergleich erzielte Qwen3.8-27B bei größeren Überarbeitungen in einem Harness 75 %, in einem anderen jedoch nur 56 %. Auch die relative Rangfolge zweier Modelle änderte sich je nach Umgebung.
Dieses Ergebnis stellt die Praxis infrage, Coding-Agenten ausschließlich anhand von Modell-Ranglisten zu vergleichen. Die Leistung eines Modells hängt von den aufrufbaren Tools, dem erhaltenen Kontext, der Beobachtung des Browserverhaltens und der Fähigkeit ab, sich von einer fehlerhaften Änderung zu erholen. Für Käufer, die einen KI-Coding-Assistenten bewerten, ist die praktische Vergleichseinheit daher die Kombination aus Modell und Harness.
Die Studie ergab außerdem, dass zusätzliche Rechenleistung die Lücke nicht zuverlässig schloss. GLM-5.2 verwendete bei kleineren Änderungen fast sechsmal so viele Tokens wie GPT-6 Astra, erzielte aber ein deutlich schwächeres Ergebnis. Mehr Schlussfolgerungen oder ein längerer Lauf können bei manchen Aufgaben helfen, doch das Ergebnis legt nahe, dass ein höherer Tokenverbrauch kein Ersatz für eine bessere Aufgabenzerlegung, Tests und Interaktion mit der Anwendung ist.
Was die Ergebnisse für Entwickler und Unternehmen bedeuten
Für Entwicklungsteams bedeutet dies unmittelbar, dass KI-Coding-Agenten weiterhin vor allem als überwachte Umsetzungspartner und nicht als autonome Verantwortliche für Produktänderungen nützlich sind. Ein Agent kann den Großteil einer Funktion erstellen, doch Teams müssen weiterhin Randfälle, visuelle Genauigkeit, Datenverarbeitung und das Zusammenspiel von Anforderungen prüfen.
Besonders hoch ist das Risiko bei Aufgaben, die Layout-, Design-, Interaktions- und Inhaltsänderungen verbinden. Der Benchmark zeigte, dass die Leistung über die Modelle hinweg sank, wenn mehr Änderungstypen kombiniert wurden, obwohl solche miteinander verflochtenen Anforderungen in der realen Produktarbeit üblich sind. Ein Workflow, der jede Anfrage als einzelnen Prompt behandelt, kann daher eine überzeugende Teillösung erzeugen und wichtige Details unvollendet lassen.
Teams, die Tools bewerten, sollten sie anhand repräsentativer interner Aufgaben testen, einschließlich Änderungen an bestehenden Codebasen und Anwendungen statt nur an Greenfield-Beispielen. Sie sollten die vollständige Abnahme, Regressionsraten, Prüfzeit und Häufigkeit manueller Korrekturen messen. Dies ergänzt etablierte Evaluierungen wie SWE-bench Verified, sollte aber die menschliche Prüfung oder Sicherheitsvorkehrungen für Deployments nicht ersetzen.
Die Ergebnisse sind auch für Entwickler von Agentenplattformen relevant. Bessere Browserinspektion, eine klarere Zustandsverfolgung, zuverlässiges Zurücksetzen und stärkere Validierung könnten die Ergebnisse ebenso stark verbessern wie ein größeres Basismodell. Das Harness-Ergebnis zeigt, dass Produktteams den gesamten Workflow bewerten sollten, einschließlich Berechtigungen, Zuverlässigkeit der Tools, Beobachtbarkeit und Fehlerbehebung.
Was als Nächstes zu beobachten ist
Das nächste nützliche Signal wird sein, ob Co-Design Bench oder ähnliche Evaluierungen über feste Einmalanfragen hinausgehen. Die reale Softwarearbeit umfasst Klärungen, sich ändernde Anforderungen und Feedback von Nutzern oder Projektleitern. Interaktive Versionen des Tests könnten daher ein anderes Bild vom Nutzen der Agenten liefern.
Forscher und Käufer sollten außerdem auf Ergebnisse achten, die Modell und Harness gemeinsam ausweisen, statt eine einzelne Modell-Rangliste zu veröffentlichen. Eine unabhängige Reproduktion würde helfen festzustellen, ob die gemeldete Rangfolge und die starken Umgebungseffekte über verschiedene Codebasen und Anwendungstypen hinweg bestehen bleiben.
Letztlich bleiben Abnahmeraten in realen Entwicklungsteams aussagekräftiger als der reine Abschluss von Benchmark-Aufgaben. The Decoder verwies zuvor auf METR-Forschungen, denen zufolge Projektleiter KI-generierten Code mit einer Rate akzeptierten, die etwa 24 Prozentpunkte unter den Ergebnissen von SWE-bench Verified lag. Diese Lücke warnt davor, dass ein scheinbar abgeschlossener Task nicht automatisch in ein deploybares Stück Software übersetzt wird.
Die Perspektive von Creati.ai
Co-Design Bench ist wichtig, weil der Benchmark die letzte Meile der Arbeit von Coding-Agenten misst: nicht, ob ein Agent Code erzeugen kann, sondern ob die gewünschte Produktänderung in der gesamten Anwendung tatsächlich funktioniert. Das Ergebnis von 26,4 % vollständiger Abschlüsse erinnert daran, dass teilweise Automatisierung weiterhin erhebliche Prüf- und Reparaturpflichten schaffen kann.
Für KI-Entwickler und Unternehmenskäufer lautet die praktische Lehre, das Modell nicht als das gesamte Produkt zu betrachten. Zuverlässige Ausführung hängt von der Kombination aus Modell, Harness, Tests, Anwendungskontext und menschlicher Freigabe ab. Solange diese Komponenten nicht gemeinsam anhand realistischer Aufgaben bewertet werden, sollten Behauptungen über autonome Softwareentwicklung mit Vorsicht betrachtet werden.
