NVIDIA veröffentlicht vier offene Cosmos-3-Modelle für interaktive Weltsimulation

NVIDIA hat vier offene Checkpoints seiner Cosmos-3-Familie veröffentlicht und damit seine Weltmodell-Plattform von der Inhaltserzeugung hin zu interaktiven Simulationen für autonome Fahrzeuge und Roboter erweitert. Die Modelle können synchronisierte Kamera- und LiDAR-Beobachtungen erzeugen, Simulatorsteuerungen in Videos umsetzen oder vorhersagen, wie sich die Umgebung eines Roboters nach physischen Aktionen verändert.

Die Veröffentlichung bietet Entwicklern mehrere spezialisierte Ausgangspunkte statt eines universellen Simulators. NVIDIA und Hugging Face zufolge sind die Checkpoints für Forschung und kommerzielle Entwicklung unter den Bedingungen der OpenMDW1.1-Lizenz vorgesehen. Jeder ist eine nachtrainierte Version von Cosmos 3 Nano mit 16 Milliarden trainierbaren Parametern.

Die Ankündigung ist relevant, weil Physical-AI-Teams Umgebungen benötigen, die auf Aktionen reagieren, nicht nur statische synthetische Bilder oder voneinander getrennte Videoclips. NVIDIA kombiniert die Checkpoints mit einem umfassenderen Software-Stack für Anpassung, Reinforcement Learning, Optimierung und Bereitstellung. Die verfügbaren Belege stammen jedoch von NVIDIA und seinem publizierenden Partner im Entwickler-Ökosystem; Aussagen zu Leistung und Verbreitung bleiben daher Herstellerangaben.

Vier Modelle für unterschiedliche Simulationsprobleme

Die vier Checkpoints teilen die Veröffentlichung auf Anwendungsfälle im autonomen Fahren und in der Robotik auf.

Cosmos3-Nano-Transfer-Auto ist für die Offline-Erzeugung synthetischer Fahrdaten konzipiert. Es kann synchronisierte Videos für bis zu 11 Kameraansichten, einschließlich Fisheye-Kameras, erzeugen und dabei RGB-Bilder und LiDAR gemeinsam generieren. Entwickler können Wetter, Beleuchtung, Tageszeit, Straßenverläufe und den Zustand von Verkehrssignalen über World-Scenario-Map-Steuerungen und Text-Prompts variieren. Optionale anfängliche RGB-Bilder können helfen, das visuelle Erscheinungsbild einer Szene festzulegen.

Das Modell dient außerdem als Anpassungsstufe für Teams mit eigenen Sensorkonfigurationen. Der von NVIDIA dokumentierte Ablauf besteht darin, Transfer-Auto mit proprietären Kamera-, LiDAR- und Umweltdaten nachzutrainieren und das angepasste Modell anschließend entweder zur Offline-Datenerzeugung oder als Grundlage für ein schnelleres Streaming-Modell zu verwenden.

Cosmos3-Nano-Sim-Auto ist diese Streaming-orientierte Variante. Laut der Beschreibung auf Hugging Face wurde sie kausal aus Transfer-Auto destilliert, um mit nur wenigen Denoising-Schritten aufeinanderfolgende Abschnitte synchronisierter Kameravideos und LiDAR-Daten zu erzeugen. Sie verwendet den generierten Verlauf und aktualisierte Fahrsteuerungen, um längere interaktive Abläufe zu unterstützen.

Diese Unterscheidung ist für Produktteams wichtig. Offline-Erzeugung kann einen Trainingsdatensatz erweitern, doch Closed-Loop-Evaluierung erfordert, dass die simulierte Welt aktualisiert wird, während eine Policy handelt. Sim-Auto benötigt weiterhin eine Simulationslaufzeit und einen Renderer, der Fahreingaben in aktualisierte Steuerungen übersetzen kann; der Checkpoint ersetzt nicht den vollständigen Fahrzeugsimulator.

Für Robotik und andere verkörperte Systeme akzeptiert Cosmos3-Nano-Sim-Transfer räumliche Steuerungen aus einem Physiksimulator und einen Text-Prompt und erzeugt anschließend RGB-Beobachtungen für eine Policy. Der Simulator bleibt für Bewegung, Kontakte und den physikalischen Zustand verantwortlich. Im von NVIDIA beschriebenen Ablauf aktualisiert eine Aktion den Simulator, dieser erzeugt räumliche Steuerungen, und das Modell rendert die nächste visuelle Beobachtung.

Cosmos3-Nano-Sim-Bimanual sagt stattdessen die visuellen Folgen von Roboter- oder Kameraaktionen voraus. Das veröffentlichte Beispiel unterstützt interaktive Zweiarm-Simulationen für die Verkörperungen YAM und AgiBot und kann durch eine Policy oder von Menschen bediente Joysticks gesteuert werden. Das gemischte Aktionsschema umfasst Blickwinkeländerungen und Manipulation in einer Steuersequenz; beim Training wird ein Steuerschema mit 59 Werten auf 64 Werte aufgefüllt.

NVIDIA baut einen Entwicklungspfad rund um die Checkpoints

Die Modellveröffentlichung ist Teil der größeren NVIDIA-Cosmos-Plattform und kein eigenständiger Download. Das Cosmos Framework des Unternehmens stellt Rezepte und Agentenfähigkeiten für Training, multimodale Datenverarbeitung, Inferenz, Optimierung und Evaluierung bereit. NVIDIA zufolge kann das Framework neben Cosmos 3 auch mit Modellen wie Alpamayo, GR00T, Qwen und pi0.5 sowie kompatiblen Hugging-Face-Modellen arbeiten.

Für die Anpassung unterstützt das Framework LoRA und vollständiges überwachtetes Fine-Tuning mit Datenladepfaden für JSONL, WebDataset, LeRobot und eigene Adapter. NVIDIA listet außerdem Offline- und Online-Reinforcement-Learning-Pipelines, darunter DPO, GRPO, PPO, On-Policy-Destillation und DiffusionNFT. Dadurch könnten Entwickler von einem vortrainierten Weltmodell zur aufgabenspezifischen Policy-Schulung gelangen, ohne jeden Teil des Workflows selbst zusammenstellen zu müssen.

Die Bereitstellungsschicht ist Cosmos NIM, NVIDIAs Sammlung GPU-beschleunigter Microservices. Laut dem Entwicklerblog unterstützen NIM-Konfigurationen Techniken wie Quantisierung, speculative decoding und KV-Cache-bewusstes Routing. NVIDIA berichtet auf H200-GPUs von einer Beschleunigung um etwa das Zwei- bis Dreifache; diese Zahl stammt jedoch vom Unternehmen, und die Quelle liefert nicht genügend experimentelle Details für einen unabhängigen Vergleich mit anderen Serving-Stacks.

Die Hardwareanforderungen bleiben erheblich. NVIDIA nennt für die Cosmos3-Nano-Erzeugung 58 GiB GPU-Speicher in BF16 und 44 GiB in FP8 mit Offloading. Für Rechenzentrumsbereitstellungen können diese Anforderungen handhabbar sein, für kleinere Forschungsteams und viele Edge-orientierte Robotiksysteme sind sie jedoch beträchtlich. Die Lücke zwischen einem herunterladbaren Checkpoint und einem reaktionsfähigen Simulationsdienst hängt von Batching, Latenzzielen, Sequenzlänge, Sensoranzahl und dem umgebenden Simulator ab.

Die Belege sind für Fähigkeiten stärker als für die Qualität von Policies

Die Quellen bestätigen die Existenz der vier Checkpoints, ihre angegebenen Steuerungsschnittstellen, ihre Verfügbarkeit als Open Weights sowie die unterstützenden Entwicklungs- und Bereitstellungswerkzeuge. Sie dokumentieren außerdem konkrete Anwendungsfälle: die synchrone Erzeugung von Kamera- und LiDAR-Daten für das Fahren, simulatorbedingtes Rendering und aktionsbedingte Vorhersagen für zweiarmige Roboter.

Sie belegen nicht, dass die Modelle physikalische Gesetze zuverlässig bewahren, seltene Ereignisse korrekt vorhersagen oder die Leistung nachgelagerter Policies verbessern. Der Artikel auf Hugging Face bezeichnet dies ausdrücklich als offene Forschungsfragen, darunter die Frage, wo die Modelle Policy-Lernen und Evaluierung zuverlässig unterstützen und wo sie versagen. Dieser Vorbehalt ist für sicherheitskritische Anwendungen besonders wichtig.

Visueller Realismus ist nicht dasselbe wie Simulationsvalidität. Eine Fahrszene kann überzeugend aussehen und dennoch Tiefe, Objektbewegung, Sensorauschen oder die Folgen eines ungewöhnlichen Manövers falsch darstellen. Ebenso kann ein aktionsbedingtes Robotermodell plausible Bilder erzeugen, ohne eine genaue Kontaktdynamik zu bewahren. NVIDIAs Architektur begegnet dem teilweise, indem sie in Sim-Transfer Physik und Zustand bei einem externen Simulator belässt; die Qualität des daraus entstehenden Policy-Trainings hängt jedoch weiterhin von den Schnittstellen zwischen diesen Systemen ab.

Die Quellen liefern außerdem keinen unabhängigen Benchmark gegenüber konkurrierenden Weltmodellen, keine gemeldeten Zahlen zu Kundeneinsätzen und keine Belege dafür, dass die Modelle über eine große Bandbreite von Sensorkonfigurationen validiert wurden. Entwickler sollten die Veröffentlichung daher als zugängliche Entwicklungsgrundlage betrachten, nicht als Beweis dafür, dass synthetische Rollouts reale Tests ersetzen können.

Auswirkungen für Entwickler und Unternehmenskunden

Für Teams im autonomen Fahren könnte die Verbindung von Erscheinungsbild und Geometrie das praktischste Merkmal sein. Die gemeinsame RGB-LiDAR-Erzeugung und kartenausgerichtete Steuerungen können Teams dabei helfen, übereinstimmende visuelle und dreidimensionale Beobachtungen zu erzeugen und zugleich Umgebungsbedingungen zu variieren. Für die Forschung zur Sensorfusion ist das nützlicher als die alleinige Erzeugung von Kamerabildern, sofern die Ausrichtung nach der Anpassung korrekt bleibt.

Für Robotikunternehmen bietet die Trennung zwischen Sim-Bimanual und Sim-Transfer zwei Bereitstellungsmuster. Sim-Bimanual kann visuelle Folgen direkt aus Roboter- oder Kameraaktionen modellieren, während Sim-Transfer einer Physik-Engine erlaubt, weiterhin die Kontrolle über Zustand und Kontakte zu behalten. Letztere Anordnung könnte leichter zu prüfen sein, weil der Simulator und nicht ein generatives Modell die physische Trajektorie definiert.

Kosten und betriebliche Komplexität werden wahrscheinlich die Verbreitung bestimmen. Teams benötigen ausreichend GPU-Speicher, einen Simulator oder Renderer, Datenpipelines für ihre eigenen Sensoren sowie Evaluierungsverfahren, die Fehler in der visuellen Plausibilität erkennen. Die Open-Weight-Lizenz kann die Experimentierhürden senken; kommerzielle Nutzer müssen jedoch weiterhin die Bedingungen von OpenMDW1.1 prüfen und feststellen, ob ihre geplante Nutzung, ihre Daten und ihr Vertriebsmodell konform sind.

Das umfassendere Wettbewerbssignal ist NVIDIAs Versuch, Modellgewichte, Trainingsrezepte, Reinforcement Learning und Inferenzdienste zu einem einzigen Workflow für Physical AI zu verbinden. Das kann Integrationsarbeit für Teams reduzieren, die bereits NVIDIA-Infrastruktur nutzen. Für Organisationen, die herstellerneutrales Serving, kostengünstige Inferenz oder den Einsatz auf Hardware außerhalb des bevorzugten GPU-Stacks des Unternehmens priorisieren, könnte dies weniger überzeugend sein.

Was als Nächstes zu beobachten ist

Das erste Signal wird eine unabhängige Bewertung des Policy-Lernens und des Closed-Loop-Verhaltens sein. Aussagekräftige Tests sollten reale und simulierte Sensorgeometrie, Konsistenz über lange Horizonte, die Abdeckung seltener Ereignisse sowie nachgelagerte Fahr- oder Manipulationsleistung vergleichen, statt nur die Videoqualität zu beurteilen.

Ein zweites Signal ist, wie gut sich Transfer-Auto an neue Sensorkonfigurationen anpassen lässt. NVIDIA stellt Anpassung und die anschließende Destillation in Sim-Auto als Entwicklungspfad dar; die Belege zeigen jedoch noch nicht, welches Datenvolumen, welche Trainingskosten oder welcher Leistungserhalt für diesen Übergang erforderlich sind.

Entwickler sollten außerdem Latenz- und Speicherergebnisse außerhalb von H200-Bereitstellungen beobachten, insbesondere Robotikteams, die On-Premises- oder Edge-Inferenz benötigen. Schließlich wird die Nutzung des Cosmos Framework durch Projekte mit Modellen jenseits von Cosmos 3 zeigen, ob NVIDIA eine allgemein nützliche Toolchain oder hauptsächlich ein Ökosystem rund um die eigenen Checkpoints geschaffen hat.

Creati.ai-Perspektive

NVIDIAs Veröffentlichung ist weniger deshalb bedeutend, weil sie einen weiteren Videogenerator einführt, sondern weil sie mehrere Schnittstellen für aktionsbedingte Simulation bündelt: Sensor-zu-Sensor-Erzeugung für das Fahren, Simulator-zu-Video-Rendering und direkte Vorhersage von Roboteraktionen. Diese Aufteilung entspricht eher der tatsächlichen Konstruktion von Physical-AI-Systemen als eine einzelne, undifferenzierte Aussage über ein Weltmodell.

Die zentrale Prüfung wird die Zuverlässigkeit unter Interaktion sein. Offene Gewichte und Rezepte erleichtern Experimente, doch Entwickler benötigen Belege dafür, dass die erzeugten Beobachtungen über lange Abläufe geometrisch konsistent und für Policy-Entscheidungen nützlich bleiben. Bis solche Evaluierungen vorliegen, ist Cosmos 3 am besten als umfangreiche Plattform für Simulationsforschung und Anpassung zu betrachten – nicht als nachgewiesener Ersatz für Physik-Engines, reale Daten oder physische Validierung.