Nous Research: Feinabstimmung entfernte den Großteil der politischen Propaganda aus Alibabas Qwen-Modell

Nous Research hat Arete-27B veröffentlicht, eine feinabgestimmte Version von Alibabas Qwen3.8-27B, die laut Unternehmen pro-Peking-politische Antworten deutlich reduziert und zugleich die allgemeine Leistung des Basismodells bewahrt. In der internen Bewertung von Nous sank der Anteil der als Propaganda eingestuften Antworten nach dem Training mit rund 53 Millionen Tokens von 22 % auf 0,9 %.

Das Ergebnis ist relevant, weil es eine verbreitete Annahme über das politische Verhalten chinesischer Modelle mit offenen Gewichten infrage stellt: dass regierungsnahe Antworten tief im gesamten Modell verankert sind. Nous argumentiert stattdessen, dass sich zumindest ein Teil dieses Verhaltens durch gezieltes überwachtes Fine-Tuning verändern lässt, ohne das Modell von Grund auf neu zu trainieren oder Reinforcement Learning einzusetzen.

Die Ergebnisse stammen weiterhin hauptsächlich vom Anbieter selbst. Die Bewertung wurde von Nous konzipiert und durchgeführt, und der Vergleich belegt nicht, dass jedes chinesische Modell eine ähnlich entfernbare politische Ausrichtungsebene enthält.

Was Nous an Qwen3.8-27B geändert hat

Nous Research trainierte Arete-27B aus Alibabas Qwen3.8-27B mit etwa 53 Millionen Tokens über zwei Epochen. Nach Angaben des Unternehmens wurde ausschließlich überwachtes Fine-Tuning eingesetzt, ohne Reinforcement Learning oder Präferenzoptimierung. Außerdem wurden Überschneidungen zwischen dem Trainingsmaterial und den Testprompts entfernt.

Das Training konzentrierte sich auf Antworten zu Meinungsfreiheit, staatlicher Ideologie, Bildung, Datenschutz und Überwachung, Demokratie sowie Umwelt. Ziel war laut Nous, das Modell zu sachlichen Antworten zu lenken, statt Antworten zu erzeugen, die offizielle Narrative der chinesischen Regierung wiederholen, unterstützen oder normalisieren.

Das daraus entstandene Modell und zugehörige Materialien, darunter Testdatensatz und Trainingsdaten, wurden laut Darstellung von The Decoder unter einer Apache-2.0-Lizenz auf Hugging Face bereitgestellt. Dadurch können Forschende und Modellanbieter den Ansatz untersuchen, Teile der Bewertung reproduzieren oder testen, ob dieselbe Methode bei anderen Modellen mit offenen Gewichten funktioniert.

Nous beschreibt das im Qwen3.8-27B beobachtete politische Verhalten als eine „dünne“ Schicht, die spät im Training angewendet wurde. Diese Schlussfolgerung ist eine Interpretation der Unternehmensergebnisse und keine unabhängig bestätigte Eigenschaft des Trainingsprozesses von Qwen.

Die Bewertung zeigte eine deutliche politische Verschiebung

Nous testete beide Modelle mit 803 Prompts aus sieben politisch sensiblen Kategorien. Für jeden Prompt identifizierte das Unternehmen zwei bis vier sachliche Punkte aus datierten Quellen wie Gesetzen, Nachrichtenberichten oder akademischen Studien. Ein separates Bewertungsmodell prüfte anschließend, ob die Antwort diese Fakten enthielt, ausließ oder ihnen widersprach.

Als Prüfer diente Grok 4.7 von xAI. Nous zufolge wusste der Prüfer nicht, welches Modell die jeweilige Antwort erzeugt hatte, und sollte die für seine Entscheidung maßgebliche Formulierung zitieren. Eine Antwort wurde als Propaganda eingestuft, wenn sie statt der relevanten Fakten ein offizielles Narrativ Pekings wiederholte, dieses Narrativ unterstützte oder es trotz widersprechender Belege als gleichwertig behandelte.

In diesem Test erreichte Qwen3.8-27B bei der faktischen Genauigkeit 2,32 von 5 Punkten und erzeugte in 22 % der Antworten Propaganda. Arete-27B erzielte eine faktische Genauigkeit von 2,98, während die Propagandarate auf 0,9 % sank. Die größte Veränderung zeigte sich in der Kategorie Meinungsfreiheit: Laut Nous stieg der Faktenwert von 0,89 auf 2,44, während die Propagandarate von 60 % auf 1 % fiel.

Das Ergebnis im Reasoning-Modus ist weniger vollständig. Arete soll bei aktivierter Schlussfolgerung eine faktische Genauigkeit von 3,07 erreicht haben, doch Nous stützte diesen Wert nur auf zwei von fünf geplanten Durchläufen. Daher ist er eher ein frühes Signal als ein stabiler Benchmark.

Zum Vergleich gibt Nous an, dass Mistral Large 4 und Gemma 4 31B in derselben Bewertung jeweils Propagandaraten von unter 1 % erzielten, während GLM-5.3 und DeepSeek V4.1 Flash auf 15 % beziehungsweise 16 % kamen. Auch diese modellübergreifenden Vergleiche sollten vorsichtig bewertet werden, da sie auf dem Prompt-Set, den Definitionen und der Bewertungsmethodik eines einzelnen Unternehmens beruhen.

Auch die Aussagen zur allgemeinen Leistungsfähigkeit sind intern

Nous zufolge schwächte die Entfernung des politischen Verhaltens die allgemeine Leistung nicht wesentlich. Im unternehmenseigenen Hermes Bench erzielte Arete-27B 65,60 %, verglichen mit 65,77 % beim Originalmodell. Auf Terminal-Bench 2.1 stieg der Wert von 67 % auf 70 %, wobei Nous darauf hinweist, dass sich die Testaufbauten unterschieden und dieses Ergebnis nicht als bedeutenden Gewinn darstellt.

Diese Zahlen legen nahe, dass gezielte Änderungen an der Ausrichtung nicht zwangsläufig einen umfassenden Verlust an Programmier- oder Allgemeinfähigkeiten erfordern. Sie stellen jedoch keine unabhängige Sicherheits- oder Leistungsbewertung dar. Die Benchmarks wurden von Nous berichtet, und die verfügbaren Belege zeigen nicht, wie Arete in einem breiteren Spektrum von Sprachen, Domänen, adversarialen Prompts oder Produktionsumgebungen abschneidet.

Die Wahl des Lehrermodells verdeutlicht zudem eine praktische Einschränkung für Modellanbieter. Nous wählte Inkling von Thinking Machines Lab, weil die Nutzung eines offenen Modells nach Unternehmensangaben Bedenken hinsichtlich Nutzungsbedingungen zur Destillation ausgelöst hätte. Nvidias Nemotron 3 Ultra wurde Berichten zufolge geprüft, aber nicht ausgewählt, nachdem Nous bei China-bezogenen Themen Unregelmäßigkeiten beobachtet hatte.

Dieser Prozess unterstreicht ein größeres Problem: Pipelines für synthetische Daten können politisches Verhalten zwischen Modellen übertragen. Nous zufolge gab es in eigenen Projekten Anzeichen einer ähnlichen Kontamination, während Inkling laut The Decoder selbst Modelle wie das chinesische Kimi K2.5 in seinen synthetischen Trainingsdaten nutzte.

Warum das Ergebnis für Modellbauer wichtig ist

Für KI-Entwickler liegt die unmittelbare Lehre eher in der Methodik als in der Politik. Ein vergleichsweise kleiner überwacht feinabgestimmter Trainingslauf – 53 Millionen Tokens bei einem Modell dieser Klasse – könnte ausreichen, um deutlich sichtbare Muster bei Verweigerungen und beim Framing zu verändern, ohne das zugrunde liegende Modell neu aufzubauen. Das könnte Kosten und Zeit senken, die erforderlich sind, um Systeme mit offenen Gewichten an verschiedene Märkte oder Organisationsrichtlinien anzupassen.

Das Risiko besteht darin, dass ein niedrigerer Propagandawert nicht automatisch bedeutet, dass ein Modell neutral, wahrheitsgetreu oder sicher ist. Ein Modell kann aufhören, das Narrativ einer Regierung zu wiederholen, und dennoch andere ideologische Präferenzen, uneinheitliche Faktentreue oder neue, durch die Fine-Tuning-Daten eingeführte Fehlermuster zeigen. Auch der Einsatz eines Bewertungsmodells mit eigenen politischen Eigenschaften macht die Gestaltung der Bewertung wichtig.

Für Unternehmenskunden bietet die Veröffentlichung möglicherweise einen Weg, offene Modelle vor dem Einsatz zu testen und anzupassen. Käufer müssten jedoch die Herkunft der Trainingsdaten, Lizenzierung, mehrsprachiges Verhalten, Datenschutz, Verweigerungsrichtlinien und die Leistung bei eigenen sensiblen Anwendungsfällen prüfen. Ein niedriger Wert in Nous’ politischem Benchmark ist kein Beleg dafür, dass Arete-27B für regulierte oder besonders folgenreiche Anwendungen bereit ist.

Das Ergebnis erhöht außerdem den Druck auf Modellanbieter, zu dokumentieren, wie politische Ausrichtung erzeugt und gemessen wird. Frühere, von The Decoder zitierte Studien von NewsGuard, CrowdStrike, Aleph Alpha und ValsAI berichteten über uneinheitliches Verhalten chinesischer Modelle bei Themen wie Taiwan, Tibet, Falun Gong, Menschenrechten und Internierungslagern. Auch diese Studien legen nahe, dass die Ergebnisse je nach Modell, Sprache, Thema und Antwortformat variieren können.

Was als Nächstes beobachtet werden sollte

Die wichtigste Anschlussprüfung wird eine unabhängige Reproduktion der Arete-27B-Bewertung sein. Forschende sollten die veröffentlichten Gewichte und Daten mit Prüfern verschiedener Anbieter, menschlichen Bewertern, mehrsprachigen Prompts und neuen politischen Themen testen, die nicht im Trainingsdatensatz enthalten waren.

Ebenso wichtig wird sein zu sehen, ob sich die Methode auf andere chinesische Modelle mit offenen Gewichten übertragen lässt, darunter Systeme von DeepSeek, GLM und Kimi, ohne Schlussfolgerungs-, Programmier- oder Faktenleistungen zu beeinträchtigen. Langzeittests sollten prüfen, ob das veränderte Verhalten nach längeren Gesprächen, Tool-Nutzung, Änderungen des System-Prompts und adversarialen Prompts bestehen bleibt.

Schließlich sollten Modellnutzer auf Belege aus realen Einsätzen achten, statt sich ausschließlich auf Benchmarkwerte zu verlassen. Nous’ geplante Expansion von Hermes für Unternehmen könnte weitere Informationen darüber liefern, wie das Unternehmen Zuverlässigkeit, Governance und Anpassbarkeit außerhalb seiner Forschungsbewertung misst.

Perspektive von Creati.ai

Arete-27B ist ein nützlicher Beleg dafür, dass sich politisches Verhalten in mindestens einem getesteten Modell gezielter verändern lässt, als viele Käufer erwarten dürften. Die gemeldete Beibehaltung der Fähigkeiten ist bemerkenswert, doch die politischen Schlussfolgerungen gehen über die derzeitige Beweislage hinaus: Ein Modell, ein intern entwickelter Test und überwiegend vom Anbieter gemeldete Ergebnisse beweisen nicht, dass ideologische Ausrichtung generell oberflächlich oder leicht zu entfernen ist.

Für Entwickler lautet die praktische Schlussfolgerung, Fine-Tuning als einen Eingriff zu betrachten, der Messungen erfordert, und nicht als garantierten Neutralitätsschalter. Der Wert von Arete-27B wird weniger von der Schlagzeilen erzeugenden Propagandareduzierung abhängen als davon, ob unabhängige Bewertungen bestätigen, dass die Veränderung dauerhaft, umfassend faktentreu und frei von kostspieligen Verschlechterungen an anderer Stelle ist.