NVIDIA explique comment Jetson peut exécuter de nouveaux modèles de raisonnement en périphérie

NVIDIA positionne son matériel Jetson pour une nouvelle classe de charges de travail locales de raisonnement et d’IA agentique, estimant que les modèles ouverts compacts publiés en 2026 sont désormais suffisamment performants pour fonctionner en dehors du centre de données. Dans un guide destiné aux développeurs, l’entreprise détaille des recettes de déploiement pour Nemotron 3.5 Lightning et Qwen3.8-27B, ainsi que des techniques d’optimisation destinées à améliorer le débit sur les systèmes NVIDIA Jetson.

Cet article reflète une évolution plus large de l’économie et de l’architecture de l’IA en périphérie. Les développeurs qui créent des agents ont souvent dû envoyer l’inférence vers un centre de données distant parce que les modèles capables de raisonnement en عدة étapes étaient trop volumineux pour du matériel local. NVIDIA affirme que de nouvelles conceptions de modèles, la quantification et un service optimisé peuvent réduire cette dépendance pour des applications telles que la robotique, la surveillance industrielle, les assistants embarqués dans les véhicules et les systèmes fonctionnant avec une connectivité intermittente.

Les affirmations de performance les plus fortes dans cet article proviennent de la publication développeur de NVIDIA elle-même et doivent être considérées comme des résultats rapportés par le fournisseur. Le guide fournit des conseils d’implémentation et des comparaisons de benchmarks, mais il n’établit pas de validation indépendante sur l’ensemble des configurations Jetson ni sur tous les charges de travail applicatives.

Deux modèles, deux compromis de déploiement

NVIDIA utilise deux modèles pour illustrer pourquoi l’architecture du modèle compte autant que le nombre de paramètres. Qwen3.8-27B est un modèle dense qui active l’ensemble des 27 milliards de paramètres pour chaque jeton. Nemotron 3.5 Lightning utilise une architecture de mélange d’experts avec 30 milliards de paramètres au total, mais n’active qu’environ 3 milliards de paramètres par jeton.

Cette différence crée des compromis distincts pour les créateurs d’agents. NVIDIA présente Nemotron 3.5 Lightning comme un meilleur choix pour les flux de travail à forte production de réponses, où une génération de jetons plus rapide peut raccourcir les boucles répétées de l’agent. Qwen3.8-27B peut être plus adapté à des tâches impliquant moins de décisions mais plus difficiles, où le système peut consacrer davantage de temps à la génération de chaque réponse.

L’exemple pratique du guide est un agent en périphérie qui surveille les données des capteurs et les journaux de l’appareil, prend des mesures correctives approuvées, vérifie le résultat par rapport à des tests prédéfinis et escalade vers un expert humain lorsque nécessaire. Exécuter cette boucle au plus près de l’équipement concerné pourrait réduire la latence réseau et conserver les données opérationnelles sur l’appareil.

NVIDIA cite également Gemma 4 E4B comme point de départ pour Jetson Orin Nano. Pour Jetson AGX Orin et Jetson AGX Thor, l’entreprise identifie Nemotron 3.5 Lightning et Qwen3.8-27B comme des options plus solides, prises en charge par des checkpoints quantifiés et des parcours de déploiement dans des moteurs d’inférence courants.

La quantification et le décodage spéculatif font le gros du travail

Le guide se concentre sur deux techniques. La quantification NVFP4 réduit la mémoire et le calcul nécessaires aux opérations du modèle en représentant les poids et les calculs associés dans un format de précision plus faible. Cela peut rendre les modèles plus grands plus pratiques sur des appareils de périphérie contraints, même si la précision réduite doit toujours être vérifiée au regard de l’exactitude et du comportement de raisonnement requis par une application particulière.

Le décodage spéculatif adopte une autre approche. Un plus petit processus de brouillon propose plusieurs jetons, tandis qu’un modèle cible plus grand les vérifie. Lorsque plusieurs jetons proposés sont acceptés ensemble, le système peut produire plus de sortie par étape de vérification que le décodage classique jeton par jeton.

Dans les tests de NVIDIA, la combinaison de la quantification NVFP4 et du décodage spéculatif a produit jusqu’à 6,28 fois d’amélioration du débit de décodage par rapport au BF16. Ce résultat n’est pas une garantie universelle de vitesse : NVIDIA indique que la configuration spéculative la plus rapide différait selon le modèle. Nemotron 3.5 Lightning a obtenu ses meilleurs résultats avec DSpark, tandis que Qwen3.8-27B a mieux performé avec DFlash2.

Ce résultat spécifique au modèle est important pour les équipes de déploiement. Les développeurs ne peuvent pas supposer qu’un seul checkpoint de brouillon ou qu’une seule méthode de décodage spéculatif sera optimale pour toute une famille de modèles. NVIDIA recommande de tester les méthodes disponibles et les checkpoints de brouillon contre le modèle cible et le matériel, plutôt que de choisir une optimisation uniquement sur la base d’un benchmark général.

Les preuves restent dépendantes de la charge de travail

Le NVIDIA Developer Blog présente les résultats Jetson comme une preuve que le matériel en périphérie peut désormais prendre en charge des modèles de raisonnement qui nécessitaient auparavant de plus grands systèmes de centre de données. Il fait également référence à une comparaison de l’Artificial Analysis Intelligence Index, indiquant que les modèles ouverts publiés en 2026 atteignent des scores similaires à ceux des modèles de pointe de 2025 tout en utilisant moins de paramètres.

Ces comparaisons aident à expliquer le contexte du marché, mais elles ne remplacent pas les tests applicatifs. Un modèle peut obtenir de bons résultats sur un benchmark général tout en échouant à conserver les schémas d’utilisation d’outils, les connaissances du domaine, les formats de réponse ou les contraintes de sécurité nécessaires à un agent de production.

NVIDIA recommande explicitement une validation avec des prompts représentatifs et des catégories de charges de travail réelles. Le débit peut varier en fonction de la longueur des requêtes, de la quantité de raisonnement, des appels d’outils et des schémas de réponse. Les constructeurs doivent donc mesurer non seulement les jetons par seconde, mais aussi la latence de bout en bout de l’agent, l’utilisation de la mémoire, la récupération après échec et le fait que la quantification ou le décodage spéculatif modifient ou non des décisions importantes pour l’application.

L’entreprise dirige les développeurs vers la page Jetson AI Lab Models pour des recommandations de modèles, des résultats de benchmark et des comparaisons de plateformes. Elle renvoie également vers des tutoriels couvrant le déploiement local de grands modèles de langage et de vision-langage, ainsi que le décodage spéculatif avec des frameworks populaires. Le guide cite vLLM et llama.cpp comme options de déploiement.

Ce que cela signifie pour les constructeurs d’IA en périphérie

L’opportunité immédiate n’est pas simplement de placer un chatbot sur un petit ordinateur. Il s’agit de faire du raisonnement local une partie d’une boucle de contrôle plus large. Un système d’usine pourrait interpréter les signaux des équipements, un robot pourrait planifier en fonction de conditions changeantes, ou un assistant embarqué pourrait répondre sans dépendre d’une connexion cloud continue.

Pour les équipes produit, l’inférence locale peut réduire la latence aller-retour et limiter la quantité de données de capteurs ou opérationnelles envoyées vers des services externes. Elle peut aussi améliorer la disponibilité dans des environnements éloignés ou déconnectés. Ces avantages s’accompagnent de nouvelles responsabilités, notamment la gestion des appareils, les mises à jour de modèles, les limites thermiques du matériel, la journalisation locale et les garde-fous autour des actions prises par un agent autonome.

La sélection des modèles deviendra également plus spécifique à la charge de travail. Un modèle dense peut être préférable lorsque la qualité de la réponse pour des décisions difficiles est prioritaire, tandis qu’un modèle à mélange d’experts clairsemé peut offrir une meilleure économie pour les agents qui génèrent de nombreuses étapes intermédiaires. Dans les deux cas, la mesure pertinente est le flux de travail achevé : à quelle vitesse et avec quelle fiabilité le système détecte un problème, choisit une action, vérifie le résultat et escalade en cas d’incertitude.

Ce qu’il faut surveiller ensuite

Les prochains signaux utiles seront des benchmarks indépendants sur Jetson Orin Nano, Jetson AGX Orin et Jetson AGX Thor, en particulier pour des charges de travail d’agents soutenues plutôt que pour des tests de décodage isolés. Les développeurs devraient également surveiller si les checkpoints optimisés et les modèles de brouillon restent disponibles à mesure que les versions des modèles évoluent.

D’autres preuves viendront de déploiements réels en robotique, surveillance industrielle, transport et autres environnements où la connectivité et le contrôle des données comptent. Les affirmations d’adoption doivent être séparées des démonstrations tant que les clients ne divulguent pas d’améliorations mesurables en latence, coût d’exploitation, fiabilité ou capacité hors ligne.

Point de vue de Creati.ai

Le guide de NVIDIA est important car il déplace le débat sur l’IA en périphérie de la question de savoir si les modèles de raisonnement peuvent fonctionner localement vers celle de savoir quelle architecture et quelle pile de service conviennent le mieux à un flux de travail spécifique. L’amélioration annoncée de 6,28 fois est prometteuse, mais la leçon la plus durable est que l’optimisation doit être considérée comme un couple modèle-application, et non comme un interrupteur universel.

Pour les constructeurs, la voie la plus solide consiste à benchmarker l’ensemble de la boucle de l’agent sur le matériel cible, y compris les appels d’outils, les vérifications de sécurité et les cas d’échec. Le raisonnement local peut réduire la dépendance au cloud, mais la valeur en production dépendra tout autant d’un comportement fiable et de contrôles opérationnels que du débit brut de jetons.