Google DeepMind a montré qu’un modèle de diffusion de texte ne nécessite pas forcément une nouvelle phase de préentraînement à grande échelle. Dans un rapport technique relayé par The Decoder, l’entreprise explique comment elle a transformé le modèle existant Gemma 4-26B-A4B en DiffusionGemma en utilisant moins de 10 % du budget initial en jetons d’entraînement.

Le système obtenu génère des blocs pouvant aller jusqu’à 256 jetons en parallèle, au lieu de s’engager sur un jeton à la fois. Sur une Nvidia H100, Google annonce un débit d’environ 1 500 jetons par seconde. Le compromis est important : DiffusionGemma reste en retrait par rapport à son prédécesseur autoregressif en matière de qualité globale des benchmarks, mais cette approche pourrait offrir aux chercheurs et aux équipes produit une voie moins coûteuse pour expérimenter la diffusion de texte.

Une adaptation plutôt qu’une nouvelle phase de préentraînement

Les modèles de langage autoregressifs traditionnels construisent une réponse de manière séquentielle, en prédisant le jeton suivant à partir des jetons déjà produits. DiffusionGemma suit une autre voie, en raffinant à plusieurs reprises un bloc de texte bruité jusqu’à ce que la sortie soit exploitable. La méthode se rapproche, dans l’esprit, des systèmes de diffusion d’images, même si elle est appliquée au langage.

Google DeepMind est parti de Gemma 4 plutôt que de concevoir et d’entraîner un nouveau modèle spécialement pour la diffusion. La première phase d’entraînement a appris au modèle à reconstituer des blocs de texte corrompus. Une deuxième phase a combiné l’apprentissage par renforcement avec la distillation d’échantillonneur, un processus que Google appelle SD·RL. L’apprentissage par renforcement a servi à améliorer les réponses, tandis que la distillation d’échantillonneur a réduit le nombre d’étapes de raffinement nécessaires à l’inférence.

Ce choix de conception constitue la principale information du rapport. Il suggère qu’un modèle de langage existant peut servir de base à un autre mécanisme de génération, ce qui pourrait réduire le coût et le temps nécessaires pour explorer des architectures alternatives. En revanche, il ne démontre pas qu’une adaptation a posteriori pourra systématiquement égaler un modèle entraîné dès le départ pour la diffusion.

La génération parallèle apporte de la vitesse, sous conditions

Le rapport indique que SD·RL a amélioré les résultats de benchmark de raisonnement de 10 points en moyenne au sein du système adapté, tout en multipliant presque par quatre le nombre de jetons traités par étape de calcul. Selon Google, les réponses de DiffusionGemma sont également environ 50 % plus courtes, ce qui contribue encore à ses gains de vitesse.

Le modèle peut apparemment basculer entre une génération de type diffusion et son mode original mot à mot. Cette flexibilité pourrait permettre à une application d’utiliser le raffinement itératif pour des tâches structurées et un décodage conventionnel lorsque la génération séquentielle est plus fiable.

Les mesures de performance les plus solides restent fournies par l’éditeur. The Decoder indique que DiffusionGemma atteint environ 1 500 jetons par seconde sur une H100 dans des conditions à utilisateur unique. L’avantage se réduit à mesure que la concurrence augmente : avec environ 32 requêtes simultanées, les modèles de langage standards rattraperaient le débit. Cela rend la conception du déploiement tout aussi importante que le chiffre de vitesse mis en avant.

Éléments de preuve, améliorations et faiblesses connues

Le rapport de Google identifie plusieurs tâches pour lesquelles le raffinement parallèle peut être utile. Dans un exemple mathématique, le modèle de diffusion peut élaborer une réponse avant de finaliser la sortie visible, ce qui lui permet de corriger une erreur précoce au lieu d’ajouter ensuite une correction. Le rapport décrit aussi une performance au Sudoku proche de 85 % après un léger affinage, alors que le modèle de base échouerait à cette tâche.

Les sorties structurées pourraient constituer un cas d’usage particulièrement pertinent. Google affirme que la génération JSON et la réparation de code peuvent être réalisées en deux ou trois étapes de raffinement lorsque la majeure partie de la structure finale est déjà contrainte par l’entrée. Ces résultats sont prometteurs, mais il s’agit d’affirmations spécifiques à la tâche issues du rapport technique du modèle, et non d’évaluations indépendantes.

Le rapport documente également des limites importantes. DiffusionGemma peut entrer dans des boucles de répétition, répétant parfois des mots individuels. La phase d’entraînement du modèle a été relativement courte, et l’étape SD·RL a privilégié des exigences de calcul plus faibles plutôt que la qualité maximale. Comme l’architecture, les données et d’autres réglages sont hérités de Gemma 4, ils ne sont peut-être pas optimaux pour la génération par diffusion.

The Decoder rapporte en outre que le modèle ne parvient parfois pas à terminer sa section de raisonnement dans des tâches multimodales, ce qui fait baisser les scores mesurés pour des raisons qui peuvent ne pas refléter la réponse réelle. Les performances globales restent inférieures à celles du modèle de base autoregressif, ce que Google attribue en partie à la stratégie de rétrofit et au suivi d’entraînement limité.

Ce que cela signifie pour les développeurs et les équipes d’entreprise

Pour les créateurs d’IA, DiffusionGemma offre un point de départ concret pour la recherche plutôt qu’un remplacement abouti des modèles de langage traditionnels. Les équipes qui étudient les assistants à faible latence, la génération contrainte ou les systèmes interactifs pourraient tester si le raffinement parallèle réduit le temps de réponse sans créer de problèmes inacceptables de répétition ou de précision.

L’économie dépendra du profil de charge. Les applications à utilisateur unique pourraient bénéficier le plus du débit annoncé, tandis que les services à forte concurrence pourraient voir un avantage plus faible. Les équipes devront aussi mesurer la latence totale, les étapes de raffinement, l’utilisation des accélérateurs et les taux de correction, au lieu de se fier uniquement aux chiffres de jetons par seconde.

Les workflows structurés semblent plus immédiatement adaptés à cette approche que le raisonnement libre. La production de JSON, la réparation de code et d’autres tâches fortement contraintes par l’entrée peuvent nécessiter moins d’itérations de débruitage. À l’inverse, les applications qui dépendent d’un raisonnement constamment solide ou de réponses longues et soignées pourraient préférer le modèle autoregressif d’origine jusqu’à ce qu’un entraînement spécifique à la diffusion améliore la qualité.

La disponibilité du modèle sous licence Apache 2.0 sur Hugging Face abaisse la barrière à l’expérimentation. The Decoder rapporte qu’Interfaze l’utilise déjà pour la reconnaissance vocale multilingue, tandis qu’un autre projet de recherche explore la génération interactive de comptes rendus radiologiques. Ce sont des signes précoces d’adoption, pas des preuves d’un déploiement en production à grande échelle, et la source disponible ne fournit pas de détails indépendants sur leurs performances ou leur ampleur.

Ce qu’il faut surveiller ensuite

Le prochain signal important sera de savoir si les modèles entraînés spécifiquement pour la diffusion de texte comblent l’écart de qualité avec les systèmes rétrofités. Les chercheurs devraient aussi tester DiffusionGemma dans des charges de travail concurrentes réalistes plutôt que sur des benchmarks à requête unique seulement.

D’autres évaluations devraient porter sur les échecs de répétition, la validité des sorties structurées, la précision du raisonnement et l’énergie ou le coût par tâche accomplie. Il sera également utile de voir si un affinage spécialisé produit des gains fiables en codage, en reconnaissance vocale et en génération de documents d’entreprise.

La précédente démonstration Gemini Diffusion de Google indique que l’entreprise continue d’explorer cette approche, mais DiffusionGemma est explicitement présenté comme expérimental. La valeur du modèle pourrait donc être mesurée moins par le remplacement immédiat des modèles de langage standards que par la rapidité avec laquelle il permet la recherche indépendante et les adaptations ciblées.

Point de vue Creati.ai

DiffusionGemma est important parce qu’il reformule la diffusion de texte comme un problème d’adaptation. Partir d’un modèle établi rend l’expérimentation plus accessible, mais met aussi en évidence les limites de la réutilisation d’une architecture et d’une recette d’entraînement conçues pour le décodage séquentiel.

Pour les équipes produit, la vraie question n’est pas de savoir si la génération parallèle est universellement plus rapide. Il s’agit de savoir si un flux de travail donné est suffisamment structuré pour bénéficier d’un nombre réduit d’étapes de raffinement tout en préservant la précision et la fiabilité des sorties. DiffusionGemma permet aux équipes de tester cette question à un coût d’entrée relativement faible, mais son écart aux benchmarks et ses limites de concurrence plaident pour une évaluation prudente au niveau de la charge de travail plutôt que pour des affirmations générales sur le remplacement des modèles autoregressifs.