Selon Nous Research, le fine-tuning a supprimé la plupart de la propagande politique du modèle Qwen d’Alibaba

Nous Research a publié Arete-27B, une version affinée de Qwen3.8-27B d’Alibaba qui, selon l’entreprise, réduit fortement les réponses politiques favorables à Pékin tout en préservant les performances générales du modèle de base. Dans l’évaluation interne de Nous, la proportion de réponses classées comme de la propagande est passée de 22 % à 0,9 % après un entraînement portant sur environ 53 millions de tokens.

Ce résultat est important, car il remet en cause une hypothèse courante sur le comportement politique des modèles chinois à poids ouverts : l’idée que les réponses alignées sur le gouvernement sont profondément intégrées dans l’ensemble du modèle. Nous soutient au contraire qu’au moins une partie de ce comportement peut être modifiée par un fine-tuning supervisé ciblé, sans réentraîner le modèle depuis zéro ni appliquer d’apprentissage par renforcement.

Les résultats restent principalement rapportés par le fournisseur. L’évaluation a été conçue et menée par Nous, et la comparaison ne démontre pas que tous les modèles chinois comportent une couche d’alignement politique pouvant être retirée de la même manière.

Ce que Nous a changé dans Qwen3.8-27B

Nous Research a entraîné Arete-27B à partir de Qwen3.8-27B d’Alibaba en utilisant environ 53 millions de tokens sur deux époques. L’entreprise affirme avoir utilisé uniquement un fine-tuning supervisé, sans apprentissage par renforcement ni optimisation des préférences. Elle indique également avoir supprimé les chevauchements entre les données d’entraînement et les prompts de test.

L’entraînement portait sur des réponses concernant la liberté d’expression, l’idéologie d’État, l’éducation, la vie privée et la surveillance, la démocratie et l’environnement. Selon Nous, l’objectif était d’orienter le modèle vers des réponses factuelles plutôt que vers des réponses qui répètent, approuvent ou normalisent les récits officiels du gouvernement chinois.

Le modèle obtenu et les documents associés, notamment le jeu de données de test et les données d’entraînement, ont été mis à disposition sur Hugging Face sous licence Apache 2.0, selon le récit de The Decoder. Cela pourrait permettre aux chercheurs et aux développeurs de modèles d’examiner l’approche, de reproduire une partie de l’évaluation ou de vérifier si la même méthode fonctionne sur d’autres modèles à poids ouverts.

Nous décrit le comportement politique observé dans Qwen3.8-27B comme une couche « fine » appliquée tardivement dans l’entraînement. Cette conclusion est une interprétation des résultats de l’entreprise, et non une propriété établie indépendamment du processus d’entraînement de Qwen.

L’évaluation a montré un important changement politique

Nous a testé les deux modèles avec 803 prompts répartis dans sept catégories politiquement sensibles. Pour chaque prompt, l’entreprise a identifié deux à quatre points factuels à partir de sources datées, telles que des lois, des articles de presse ou des recherches universitaires. Un modèle juge distinct a ensuite évalué si la réponse incluait, omettait ou contredisait ces faits.

Le juge était Grok 4.7 de xAI. Nous affirme qu’il ne savait pas quel modèle avait produit chaque réponse et qu’il devait citer les formulations justifiant sa décision. L’entreprise classait une réponse comme propagande lorsqu’elle répétait un récit officiel de Pékin au lieu de présenter les faits pertinents, approuvait ce récit ou le traitait comme également valable malgré des éléments contraires.

Dans ce test, Qwen3.8-27B a obtenu 2,32 sur 5 en exactitude factuelle et produit de la propagande dans 22 % des réponses. Arete-27B a atteint 2,98 en exactitude factuelle, tandis que son taux de propagande est tombé à 0,9 %. Le changement le plus important concernait la catégorie de la liberté d’expression : Nous indique que le score factuel est passé de 0,89 à 2,44 et que le taux de propagande a chuté de 60 % à 1 %.

Le résultat en mode raisonnement est moins complet. Arete aurait atteint un score d’exactitude factuelle de 3,07 avec le raisonnement activé, mais Nous a fondé ce chiffre sur seulement deux des cinq exécutions prévues. Il s’agit donc davantage d’un premier signal que d’un benchmark stable.

À titre de comparaison, Nous affirme que Mistral Large 4 et Gemma 4 31B ont chacun produit des taux de propagande inférieurs à 1 % lors de la même évaluation, tandis que GLM-5.3 et DeepSeek V4.1 Flash ont obtenu respectivement 15 % et 16 %. Ces comparaisons entre modèles doivent également être considérées avec prudence, car elles reposent sur les prompts, les définitions et la méthodologie du modèle juge d’une seule entreprise.

Les affirmations sur les capacités générales sont elles aussi internes

Nous affirme que la suppression du comportement politique n’a pas matériellement réduit les performances générales. Sur le Hermes Bench de l’entreprise, Arete-27B a obtenu 65,60 %, contre 65,77 % pour le modèle original. Sur Terminal-Bench 2.1, le score est passé de 67 % à 70 %, même si Nous précise que les configurations de test différaient et ne présente pas ce résultat comme un gain significatif.

Ces chiffres suggèrent que des changements ciblés d’alignement n’exigent pas nécessairement une perte générale des capacités de programmation ou d’usage général. Ils ne constituent toutefois pas une évaluation indépendante de la sécurité ou des capacités. Les benchmarks ont été rapportés par Nous, et les éléments disponibles ne montrent pas comment Arete se comporte sur un éventail plus large de langues, de domaines, de prompts adversariaux ou de charges de production.

Le choix du modèle enseignant illustre également une contrainte pratique pour les développeurs. Nous a choisi Inkling de Thinking Machines Lab, car l’utilisation d’un modèle ouvert aurait, selon l’entreprise, soulevé des inquiétudes liées aux conditions d’utilisation qui restreignent la distillation. Nemotron 3 Ultra de Nvidia aurait été envisagé, mais n’a pas été retenu après que Nous a observé ce qu’il a décrit comme des irrégularités sur les sujets liés à la Chine.

Ce processus souligne un problème plus large : les chaînes de données synthétiques peuvent transférer un comportement politique d’un modèle à l’autre. Nous affirme avoir observé des signes d’une contamination similaire dans ses propres projets, tandis qu’Inkling a lui-même utilisé des modèles comme le chinois Kimi K2.5 dans ses données d’entraînement synthétiques, selon The Decoder.

Pourquoi ce résultat compte pour les concepteurs de modèles

Pour les concepteurs d’IA, la leçon immédiate est méthodologique plutôt que politique. Une session de fine-tuning supervisé relativement limitée — 53 millions de tokens pour un modèle de cette classe — pourrait suffire à modifier des schémas très visibles de refus et de cadrage sans reconstruire le modèle sous-jacent. Cela pourrait réduire le coût et le temps nécessaires pour adapter des systèmes à poids ouverts à différents marchés ou politiques organisationnelles.

Le risque est qu’un score de propagande plus faible ne signifie pas automatiquement qu’un modèle est neutre, exact ou sûr. Un modèle peut cesser de répéter le récit d’un gouvernement tout en affichant d’autres préférences idéologiques, une exactitude inégale ou de nouveaux modes d’échec introduits par les données de fine-tuning. Le recours à un modèle juge ayant ses propres caractéristiques politiques rend également la conception de l’évaluation importante.

Pour les acheteurs professionnels, cette publication offre une voie possible pour tester et adapter des modèles ouverts avant leur déploiement. Ils devraient toutefois examiner la provenance des données d’entraînement, les licences, le comportement multilingue, la gestion de la vie privée, les politiques de refus et les performances dans leurs propres cas d’usage sensibles. Un score faible au benchmark politique de Nous ne prouve pas qu’Arete-27B soit prêt pour des applications réglementées ou à fort impact.

Cette découverte accroît également la pression sur les fournisseurs de modèles pour qu’ils documentent la manière dont l’alignement politique est créé et mesuré. Des études antérieures citées par The Decoder, notamment des travaux de NewsGuard, CrowdStrike, Aleph Alpha et ValsAI, ont signalé des comportements inégaux de modèles chinois sur des sujets comme Taïwan, le Tibet, le Falun Gong, les droits humains et les camps d’internement. Ces études suggèrent également que les résultats peuvent varier selon le modèle, la langue, le sujet et le format de réponse.

Ce qu’il faudra surveiller ensuite

Le suivi le plus important sera une réplication indépendante de l’évaluation d’Arete-27B. Les chercheurs devraient tester les poids et les données publiés avec des juges de différents fournisseurs, des évaluateurs humains, des prompts multilingues et de nouveaux sujets politiques absents des données d’entraînement.

Il sera également important de voir si la méthode se transfère à d’autres modèles chinois à poids ouverts, notamment les systèmes DeepSeek, GLM et Kimi, sans dégrader le raisonnement, le codage ou les performances factuelles. Des tests à plus long terme devraient déterminer si le comportement modifié persiste après des conversations prolongées, l’utilisation d’outils, des changements du prompt système et des prompts adversariaux.

Enfin, les utilisateurs de modèles devraient rechercher des preuves issues de déploiements réels plutôt que de s’appuyer uniquement sur les scores de benchmark. Le projet d’expansion de Nous autour de Hermes for Businesses pourrait fournir davantage d’informations sur la façon dont l’entreprise mesure la fiabilité, la gouvernance et la personnalisation en dehors de son évaluation de recherche.

Le point de vue de Creati.ai

Arete-27B montre utilement que le comportement politique d’au moins un modèle testé peut être modifié de manière plus ciblée que beaucoup d’acheteurs ne pourraient le penser. La conservation des capacités rapportée est notable, mais les conclusions politiques sont plus fortes que ne le permettent actuellement les preuves : un modèle, un test conçu en interne et des résultats principalement rapportés par le fournisseur ne prouvent pas que l’alignement idéologique soit généralement superficiel ou facile à supprimer.

Pour les concepteurs, la conclusion pratique est de considérer le fine-tuning comme une intervention qui exige des mesures, et non comme un interrupteur de neutralité garanti. La valeur d’Arete-27B dépendra moins de la réduction de propagande annoncée que de la confirmation, par des évaluations indépendantes, que la modification est durable, largement factuelle et exempte de régressions coûteuses ailleurs.