NVIDIA lanza cuatro modelos Cosmos 3 abiertos para la simulación interactiva del mundo

NVIDIA ha lanzado cuatro checkpoints abiertos de su familia Cosmos 3, ampliando su plataforma de modelos del mundo desde la generación de contenido hacia la simulación interactiva para vehículos autónomos y robots. Los modelos pueden producir observaciones sincronizadas de cámara y LiDAR, traducir controles del simulador en vídeo o predecir cómo cambia el entorno de un robot después de acciones físicas.

El lanzamiento ofrece a los desarrolladores varios puntos de partida especializados en lugar de un simulador de propósito general. NVIDIA y Hugging Face indican que los checkpoints están destinados a la investigación y al desarrollo comercial bajo los términos de la licencia OpenMDW1.1. Cada uno es una versión entrenada posteriormente de Cosmos 3 Nano con 16.000 millones de parámetros entrenables.

El anuncio es importante porque los equipos de IA física necesitan entornos que respondan a las acciones, no solo imágenes sintéticas estáticas o clips de vídeo desconectados. NVIDIA acompaña los checkpoints con una pila de software más amplia para adaptación, aprendizaje por refuerzo, optimización y despliegue. Sin embargo, las pruebas disponibles proceden de NVIDIA y de su socio editorial del ecosistema de desarrolladores, por lo que las afirmaciones sobre rendimiento y adopción siguen siendo declaraciones del proveedor.

Cuatro modelos para distintos problemas de simulación

Los cuatro checkpoints dividen el lanzamiento entre flujos de trabajo de conducción autónoma y robótica.

Cosmos3-Nano-Transfer-Auto está diseñado para generar datos sintéticos de conducción sin conexión. Puede crear vídeo sincronizado para hasta 11 vistas de cámara, incluidas cámaras ojo de pez, mientras genera conjuntamente imágenes RGB y LiDAR. Los desarrolladores pueden variar el clima, la iluminación, la hora del día, el trazado de las carreteras y el estado de los semáforos mediante controles de World Scenario Map y prompts de texto. Las imágenes RGB iniciales opcionales pueden ayudar a fijar la apariencia visual de una escena.

El modelo también sirve como etapa de adaptación para equipos con configuraciones propias de sensores. El flujo documentado por NVIDIA consiste en entrenar posteriormente Transfer-Auto con datos propios de cámaras, LiDAR y entorno, y después usar el modelo adaptado para generar datos sin conexión o como base de un modelo de streaming más rápido.

Cosmos3-Nano-Sim-Auto es esa variante orientada al streaming. Según la descripción de Hugging Face, fue destilada causalmente a partir de Transfer-Auto para generar sucesivos fragmentos sincronizados de vídeo de cámara y LiDAR usando solo unos pocos pasos de eliminación de ruido. Utiliza el historial generado y controles de conducción actualizados para admitir despliegues interactivos más largos.

Esta distinción es importante para los equipos de producto. La generación sin conexión puede ampliar un conjunto de entrenamiento, pero la evaluación en bucle cerrado exige que el mundo simulado se actualice mientras actúa una política. Sim-Auto sigue dependiendo de un entorno de ejecución de simulación y de un renderizador que traduzca las entradas de conducción en controles actualizados; el checkpoint no sustituye al simulador completo del vehículo.

Para robótica y otros sistemas incorporados, Cosmos3-Nano-Sim-Transfer acepta controles espaciales de un simulador físico y un prompt de texto, y luego produce observaciones RGB para una política. El simulador sigue siendo responsable del movimiento, los contactos y el estado físico. En el flujo descrito por NVIDIA, una acción actualiza el simulador, el simulador produce controles espaciales y el modelo renderiza la siguiente observación visual.

Cosmos3-Nano-Sim-Bimanual predice en cambio las consecuencias visuales de acciones del robot o de la cámara. El ejemplo publicado admite simulación interactiva de dos brazos para las plataformas YAM y AgiBot, y puede controlarse mediante una política o joysticks operados por una persona. Su configuración de acciones mixtas incluye cambios de punto de vista y manipulación en una misma secuencia de control, con un esquema de 59 valores rellenado hasta 64 durante el entrenamiento.

NVIDIA está construyendo una ruta de desarrollo alrededor de los checkpoints

El lanzamiento forma parte de una plataforma Cosmos de NVIDIA más amplia, no de una descarga independiente. Cosmos Framework, de la compañía, proporciona recetas y capacidades de agentes para entrenamiento, procesamiento de datos multimodales, inferencia, optimización y evaluación. NVIDIA afirma que el framework puede funcionar más allá de Cosmos 3 con modelos como Alpamayo, GR00T, Qwen y pi0.5, además de modelos compatibles de Hugging Face.

Para la adaptación, el framework admite LoRA y ajuste fino supervisado completo, con rutas de carga de datos para JSONL, WebDataset, LeRobot y adaptadores personalizados. NVIDIA también enumera canalizaciones de aprendizaje por refuerzo sin conexión y en línea, incluidas DPO, GRPO, PPO, destilación on-policy y DiffusionNFT. Estas capacidades podrían permitir a los desarrolladores pasar de un modelo del mundo preentrenado al entrenamiento de políticas específicas de una tarea sin ensamblar por su cuenta cada componente del flujo de trabajo.

La capa de despliegue es Cosmos NIM, la colección de microservicios acelerados por GPU de NVIDIA. El blog para desarrolladores afirma que las configuraciones de NIM admiten técnicas como cuantización, decodificación especulativa y enrutamiento consciente de la caché KV. NVIDIA informa de aceleraciones aproximadas de dos a tres veces en GPU H200, pero esa cifra es una afirmación de la compañía y la fuente no ofrece suficientes detalles experimentales para compararla de forma independiente con otras pilas de serving.

Los requisitos de hardware siguen siendo importantes. NVIDIA indica 58 GiB de memoria GPU para generar con Cosmos3-Nano en BF16 y 44 GiB en FP8 con offloading. Esos requisitos pueden ser manejables en un centro de datos, pero son significativos para equipos de investigación pequeños y muchos sistemas robóticos orientados al edge. La distancia entre un checkpoint descargable y un servicio de simulación receptivo dependerá del batching, los objetivos de latencia, la longitud de la secuencia, el número de sensores y el simulador circundante.

Las pruebas son más sólidas sobre las capacidades que sobre la calidad de las políticas

Las fuentes confirman la existencia de los cuatro checkpoints, sus interfaces de control declaradas, su disponibilidad con pesos abiertos y las herramientas de desarrollo y despliegue de apoyo. También documentan casos de uso concretos: generación sincronizada de cámara y LiDAR para conducción, renderizado condicionado por el simulador y predicción bimanual del robot condicionada por acciones.

No demuestran que los modelos conserven de forma fiable las leyes físicas, predigan con precisión acontecimientos poco frecuentes o mejoren el rendimiento de las políticas posteriores. El artículo de Hugging Face presenta explícitamente estas cuestiones como preguntas de investigación abiertas, incluida la de dónde los modelos apoyan fielmente el aprendizaje y la evaluación de políticas y dónde fallan. Esta cautela es especialmente importante en aplicaciones sensibles a la seguridad.

El realismo visual generado no equivale a validez de simulación. Una escena de conducción puede parecer convincente y representar mal la profundidad, el movimiento de los objetos, el ruido de los sensores o las consecuencias de una maniobra inusual. Del mismo modo, un modelo robótico condicionado por acciones puede producir imágenes plausibles sin mantener una dinámica de contacto precisa. La arquitectura de NVIDIA aborda esto parcialmente al dejar la física y el estado en manos de un simulador externo en Sim-Transfer, pero la calidad del entrenamiento de políticas resultante seguirá dependiendo de las interfaces entre esos sistemas.

Las fuentes tampoco ofrecen una comparación independiente con modelos del mundo competidores, cifras de despliegues de clientes ni pruebas de que los modelos hayan sido validados en una amplia variedad de configuraciones de sensores. Por tanto, los desarrolladores deberían tratar el lanzamiento como una base de desarrollo accesible, no como una prueba de que los despliegues sintéticos pueden sustituir las pruebas en el mundo real.

Implicaciones para desarrolladores y compradores empresariales

Para los equipos de conducción autónoma, la característica más práctica puede ser la conexión entre apariencia y geometría. La generación conjunta de RGB y LiDAR y los controles alineados con mapas pueden ayudar a crear observaciones visuales y tridimensionales coincidentes mientras se varían las condiciones ambientales. Esto resulta más útil para la investigación de fusión de sensores que generar únicamente imágenes de cámara, siempre que la alineación siga siendo precisa tras la adaptación.

Para las empresas de robótica, la división entre Sim-Bimanual y Sim-Transfer ofrece dos patrones de despliegue. Sim-Bimanual puede modelar directamente las consecuencias visuales de acciones del robot o de la cámara, mientras que Sim-Transfer permite que un motor físico conserve la autoridad sobre el estado y los contactos. Esta última disposición puede ser más fácil de auditar porque el simulador, y no un modelo generativo, define la trayectoria física.

El coste y la complejidad operativa probablemente determinarán la adopción. Los equipos necesitan memoria GPU suficiente, un simulador o renderizador, canalizaciones de datos para sus propios sensores y procedimientos de evaluación que detecten errores de plausibilidad visual. La licencia de pesos abiertos puede reducir las barreras a la experimentación, pero los usuarios comerciales aún deben revisar los términos de OpenMDW1.1 y determinar si el uso previsto, los datos y el modelo de distribución cumplen sus requisitos.

La señal competitiva más amplia es el intento de NVIDIA de conectar pesos de modelos, recetas de entrenamiento, aprendizaje por refuerzo y servicios de inferencia en un único flujo de IA física. Esto puede reducir el trabajo de integración para equipos que ya utilizan infraestructura de NVIDIA. Puede resultar menos atractivo para organizaciones que priorizan serving independiente del proveedor, inferencia de bajo coste o despliegue en hardware ajeno a la pila de GPU preferida por la compañía.

Qué observar a continuación

La primera señal será la evaluación independiente del aprendizaje de políticas y del comportamiento en bucle cerrado. Las pruebas útiles deberían comparar la geometría de sensores reales y simulados, la consistencia a largo plazo, la cobertura de acontecimientos poco frecuentes y el rendimiento posterior en conducción o manipulación, en lugar de limitarse a la calidad del vídeo.

Una segunda señal será la capacidad de Transfer-Auto para adaptarse a nuevas configuraciones de sensores. NVIDIA presenta la adaptación y la posterior destilación en Sim-Auto como una ruta de desarrollo, pero las pruebas aún no muestran el volumen de datos, el coste de entrenamiento o la conservación del rendimiento necesarios para esa transición.

Los desarrolladores también deberían observar los resultados de latencia y memoria fuera de los despliegues H200, especialmente los equipos de robótica que necesitan inferencia local o en el edge. Por último, la adopción de Cosmos Framework por proyectos que usan modelos más allá de Cosmos 3 indicará si NVIDIA ha creado una cadena de herramientas ampliamente útil o principalmente un ecosistema alrededor de sus propios checkpoints.

Perspectiva de Creati.ai

El lanzamiento de NVIDIA es importante menos porque introduzca otro generador de vídeo que porque agrupa varias interfaces para la simulación condicionada por acciones: generación sensor a sensor para conducción, renderizado de simulador a vídeo y predicción directa de acciones robóticas. Esta división se ajusta mejor a cómo se construyen realmente los sistemas de IA física que una afirmación única e indiferenciada sobre un modelo del mundo.

La prueba central será la fiabilidad durante la interacción. Los pesos y las recetas abiertas facilitan la experimentación, pero los desarrolladores necesitarán pruebas de que las observaciones generadas siguen siendo geométricamente coherentes y útiles para las decisiones de una política durante despliegues prolongados. Hasta que existan esas evaluaciones, Cosmos 3 debe considerarse una plataforma sustancial para investigación y adaptación de simulación, no un sustituto demostrado de los motores físicos, los datos reales o la validación física.