Nvidia hat Nemotron 3.5 Lightning veröffentlicht, ein Open-Weight-Reasoning-Modell, das KI-Agenten-Workloads schneller und kostengünstiger machen soll, statt auf jedem Intelligence-Benchmark die maximale Leistung zu erzielen.

Das Modell kombiniert 31,6 Milliarden Gesamtparameter mit einer Sparse-Architektur, die pro Token nur 3,6 Milliarden Parameter aktiviert. Laut von The Decoder berichteten Benchmarks erreicht es in Vorabtests mit Nvidias finalen NVFP4-Gewichten nahezu 670 Tokens pro Sekunde, wodurch Durchsatz zum zentralen Merkmal der neuen Nemotron-3.5-Veröffentlichung wird.

Diese Positionierung ist wichtig, da sich Entwickler von gelegentlichen Chatbot-Anfragen hin zu Agentensystemen bewegen, die lange Sequenzen von Tool-Aufrufen, Code und Zwischenschritten des Denkens erzeugen. Für solche Workloads können Latenz, Hardware-Auslastung und Bereitstellungskosten ebenso wichtig sein wie die Spitzenbewertung eines Modells in Benchmarks.

Ein kleinerer aktiver Fußabdruck mit einem Kontext von einer Million Token

Nemotron 3.5 Lightning folgt auf Nemotron 3 Nano 30B A3B und behält das hybride Mamba-Transformer-Design des früheren Modells bei. Die Gesamtzahl der Parameter ist deutlich größer als die Zahl, die bei einer einzelnen Berechnung verwendet wird – eine Struktur, die mehr Kapazität bieten soll, ohne die vollen Rechenkosten eines dichten Modells mit 31,6 Milliarden Parametern zu verursachen.

Nvidia bietet das Reasoning-Modell in BF16- und NVFP4-Formaten an. Letzteres verwendet Gewichte mit geringerer Präzision, um den für die Inferenz erforderlichen Speicher- und Rechenaufwand zu reduzieren. The Decoder berichtete, dass NVFP4 im Artificial Analysis Intelligence Index denselben Wert wie die BF16-Version erreichte, mit nur einem kleinen Qualitätsunterschied gemäß dieser Bewertung.

Das Modell ist nur für Text ausgelegt und unterstützt ein Kontextfenster von bis zu einer Million Token. Diese Kapazität könnte für Coding-Agenten, dokumentenlastige Workflows und Anwendungen nützlich sein, die umfangreiche Aufgabenhistorien aufrechterhalten müssen, auch wenn die reine Kontextlänge noch nicht zeigt, wie effizient oder zuverlässig ein System sehr lange Eingaben verarbeiten wird.

Die Gewichte sind unter Nvidias liberaler OpenMDW-1.1-Lizenz verfügbar. The Decoder listete außerdem serverlosen Zugriff über Anbieter wie DeepInfra, Fireworks, FriendliAI, CoreWeave, GMI Cloud, Nebius und Crusoe. Die Verfügbarkeit über mehrere Inferenzplattformen senkt die Einstiegshürde für Teams, die das Modell testen möchten, ohne sofort ihre eigene Nvidia-Infrastruktur zu betreiben.

Geschwindigkeit ist das Produktversprechen; Intelligenz ist wettbewerbsfähig, aber nicht dominant

Artificial Analysis vergab Nemotron 3.5 Lightning laut The Decoder einen Intelligence-Index-Wert von 24. Das entsprach OpenAIs gpt-oss-120b und lag hinter Nvidias Nemotron 3 Super, das 26 erreichte. Das Ergebnis bedeutete eine Verbesserung um neun Punkte gegenüber dem berichteten Wert von 15 für Nemotron 3 Nano.

Der Vergleich zeigt auch die Grenzen von Nvidias Ansatz. The Decoder berichtete von höheren Werten für Qwen3.6 35B A3B und Meta’s Muse Glimmer, mit 32 beziehungsweise 35. Proprietäre Systeme lagen in der zitierten Analyse beim kombinierten Verhältnis von Geschwindigkeit und Intelligenz weiterhin vorn: Google’s Gemini 3.5 Flash-Lite erreichte laut Bericht 37, während GPT-5.6 Luna 52 erzielte.

Die stärksten berichteten Ergebnisse von Lightning zeigten sich in agentenorientierten Tests. Bei GDPval-AA v2 verzeichnete Artificial Analysis einen Elo-Wert von 824, verglichen mit 800 für gpt-oss-120b und 698 für Nemotron 3 Super. Bei Terminal-Bench v2.1 stieg der Wert des Modells von 7 Prozent bei seinem Vorgänger auf 24,3 Prozent und lag damit nahe an den berichteten 26,2 Prozent von gpt-oss-120b.

Diese Zahlen stammen von einer unabhängigen Benchmarking-Plattform, werden hier jedoch über die Berichterstattung von The Decoder wiedergegeben und nicht als vollständiger Satz unabhängig reproduzierter Ergebnisse in den vorliegenden Belegen präsentiert. Sie sollten daher als Benchmark-Schnappschüsse verstanden werden, nicht als Beweis dafür, dass Lightning größere Modelle in Produktions-Workloads durchgehend übertrifft. Die Inferenzgeschwindigkeit kann je nach Hardware, Batch-Größe, Quantisierung, Serving-Software, Prompt-Länge und Ausgabe-Länge stark variieren.

Die zentrale Durchsatzzahl stammt ebenfalls aus Vorabtests mit finalen NVFP4-Gewichten. The Decoder schrieb, Lightning habe eine Intelligence-Index-Aufgabe in etwa einer halben Minute erledigt, verglichen mit ungefähr 3,5 Minuten für Qwen3.6 35B A3B und 5,8 Minuten für Gemma 4 31B im genannten Vergleich. Diese Zeiten verdeutlichen Nvidias Ziel: wiederholte, latenzkritische Aufgaben, bei denen sich die Kosten des Wartens oder des Betriebs eines größeren Modells über viele Interaktionen summieren.

Was die Veröffentlichung für KI-Entwickler bedeutet

Für Produktteams bietet Lightning eine mögliche mittlere Ebene zwischen kleinen, kostengünstigen Modellen und großen Systemen, die für schwierige Schlussfolgerungen reserviert sind. Ein Unternehmen könnte es für routinemäßige Agentenschritte einsetzen – Klassifizierung, Tool-Auswahl, Code-Navigation, Dokumentenabruf oder strukturierte Ausführung – und gleichzeitig unklare oder risikoreiche Fälle an ein leistungsfähigeres Modell eskalieren.

Diese Architektur kann die Zahl der Anfragen an teure proprietäre APIs verringern, allerdings nur, wenn das kleinere Modell im jeweiligen Workflow zuverlässig arbeitet. Ein Benchmark-Vorteil auf Terminal-Bench bedeutet nicht automatisch verlässliche Datenbankänderungen, Finanzanalysen, Kundenservice-Aktionen oder Produktionscode. Teams müssen Fehlerbehandlung, Genauigkeit bei der Tool-Nutzung, Halluzinationsraten und die Häufigkeit testen, mit der Aufgaben eskaliert werden müssen.

Das Sparse-Design und die NVFP4-Option können auch die Ökonomie des Deployments beeinflussen. Die Aktivierung von 3,6 Milliarden Parametern pro Schritt kann den Rechenbedarf gegenüber einem dichten Modell ähnlicher Gesamtgröße senken, während Quantisierung den Speicherbedarf verringern kann. Der praktische Nutzen hängt davon ab, ob ein Team über kompatible Hardware und Serving-Infrastruktur verfügt und wie viel Overhead durch lange Kontexte, Batch-Verarbeitung und Agenten-Orchestrierung entsteht.

Nvidias breitere Strategie wird in dieser Veröffentlichung sichtbar. Das Unternehmen hat bereits argumentiert, dass Modelle mit weniger als 10 Milliarden aktiven Parametern viele Agentenaufgaben zu einem Bruchteil der Kosten deutlich größerer Systeme bewältigen können. Lightning macht dieses Effizienzargument zu einem Produkt mit einem Design im Mix-Style von 31,6 Milliarden Parametern, aber einem aktiven Pfad von 3,6 Milliarden Parametern.

Die entsprechende Veröffentlichung von Fastino Labs liefert ein frühes Signal für mögliche nachgelagerte Nutzung. StreetInsider berichtete, dass das Unternehmen spezialisierte Open-Weight-Modelle für Finanzen und Gesundheitswesen veröffentlicht habe, die vollständig mit einem Agenten auf Nemotron 3.5 Lightning nachtrainiert wurden. Die bereitgestellte Quelle enthält keine technischen Details, Evaluationsergebnisse oder Adoptionszahlen für diese Modelle, weshalb die Ankündigung eher als Beispiel für Aktivitäten im Ökosystem denn als Beleg für Nachfrage im Produktionsmaßstab zu verstehen ist.

Worauf als Nächstes zu achten ist

Der wichtigste nächste Schritt wird unabhängiges Testen der Zuverlässigkeit von End-to-End-Agenten sein. Entwickler sollten Bewertungen suchen, die abgeschlossene Aufgaben messen, nicht nur Token-Durchsatz oder Benchmark-Werte, und zwar über Coding, Browsing, Unternehmenssoftware und lang laufende Workflows hinweg.

Auch die Wirtschaftlichkeit des Servings wird ein wichtiges Signal sein. Öffentliche Bereitstellungen können zeigen, ob NVFP4 und Sparse-Aktivierung bei realen Workloads spürbare Einsparungen bringen, insbesondere wenn Modelle große Kontexte oder viele gleichzeitige Nutzer verarbeiten müssen. Auch die Leistungsdifferenz zwischen lokaler Bereitstellung und gehosteter Inferenz wird für Unternehmen wichtig sein, die Kontrolle gegen operative Einfachheit abwägen.

Nvidias Post-Training-Partnerschaften sind ebenfalls beobachtenswert. Artificial Analysis berichtete, dass CodeRabbit und Harvey mit Nvidia am domänenspezifischen Post-Training gearbeitet haben. Spezialisiertere Varianten könnten entscheiden, ob Lightning zu einem allgemeinen Agentenmodell oder zu einer Grundlage für schmale, volumenstarke Systeme wird.

Schließlich sollten Käufer die Klarheit der Lizenzierung, die Werkzeugunterstützung und das Verhalten des Modells unter Sicherheitsauflagen im Blick behalten. Ein Open-Weight-Modell ist leichter zu prüfen und zu betreiben als eine geschlossene API, doch Organisationen bleiben für Überwachung, Zugriffskontrollen, Datenverarbeitung und die Eindämmung von Ausfällen verantwortlich.

Creati.ai-Perspektive

Nemotron 3.5 Lightning ist nicht Nvidias Versuch, die Rangliste der Rohintelligenz zu gewinnen. Es ist die Wette, dass viele nützliche KI-Agenten schnelle, wiederholbare Ausführung mehr brauchen als die bestmögliche Antwort auf jede einzelne Aufgabe.

Das macht die Veröffentlichung strategisch relevant, selbst dort, wo Benchmark-Spitzenreiter weiterhin vorne liegen. Wenn der berichtete Durchsatz über gängige Deployment-Setups hinweg Bestand hat, könnte Lightning Entwicklern eine praktische Routing-Option für Agentenschritte mit hohem Volumen bieten. Sein Erfolg wird letztlich weniger an der Parameterzahl gemessen werden als daran, ob Teams reale Workflows mit geringerer Latenz und niedrigeren Kosten abschließen können, ohne inakzeptable Zuverlässigkeits- oder Sicherheitsrisiken hinzuzufügen.