NVIDIA выпустила четыре открытые модели Cosmos 3 для интерактивного моделирования мира

NVIDIA выпустила четыре открытых чекпойнта семейства Cosmos 3, расширив платформу мировых моделей от генерации контента до интерактивного моделирования для автономных автомобилей и роботов. Модели могут создавать синхронизированные наблюдения камер и LiDAR, переводить команды симулятора в видео или предсказывать, как меняется окружение робота после физических действий.

Релиз дает разработчикам несколько специализированных отправных точек, а не один универсальный симулятор. NVIDIA и Hugging Face заявляют, что чекпойнты предназначены для исследований и коммерческой разработки на условиях лицензии OpenMDW1.1. Каждый из них является дообученной версией Cosmos 3 Nano с 16 миллиардами обучаемых параметров.

Объявление важно потому, что командам Physical AI нужны среды, реагирующие на действия, а не только статичные синтетические изображения или разрозненные видеоклипы. NVIDIA дополняет чекпойнты более широким программным стеком для адаптации, обучения с подкреплением, оптимизации и развертывания. Однако доступные свидетельства исходят от NVIDIA и ее партнера по публикациям в экосистеме разработчиков, поэтому заявления о производительности и внедрении остаются данными поставщика.

Четыре модели для разных задач моделирования

Четыре чекпойнта охватывают рабочие процессы автономного вождения и робототехники.

Cosmos3-Nano-Transfer-Auto предназначена для офлайн-генерации синтетических данных вождения. Она может создавать синхронизированное видео для 11 ракурсов камер, включая камеры «рыбий глаз», одновременно генерируя RGB-изображения и LiDAR. Разработчики могут менять погоду, освещение, время суток, конфигурацию дорог и состояния светофоров с помощью элементов управления World Scenario Map и текстовых промптов. Необязательные исходные RGB-изображения помогают зафиксировать визуальный вид сцены.

Модель также служит этапом адаптации для команд со своими конфигурациями датчиков. Согласно описанному NVIDIA рабочему процессу, Transfer-Auto дообучают на собственных данных камер, LiDAR и окружающей среды, после чего адаптированную модель используют либо для офлайн-генерации данных, либо как основу более быстрой потоковой модели.

Cosmos3-Nano-Sim-Auto — потоковый вариант. Согласно описанию Hugging Face, она была причинно дистиллирована из Transfer-Auto для генерации последовательных фрагментов синхронизированного видео с камер и LiDAR всего за несколько шагов удаления шума. Модель использует сгенерированную историю и обновленные команды управления, поддерживая более длинные интерактивные развертки.

Это различие важно для продуктовых команд. Офлайн-генерация может расширить обучающую выборку, но для замкнутой оценки требуется, чтобы моделируемый мир обновлялся по мере действий политики. Sim-Auto по-прежнему зависит от среды выполнения симуляции и рендерера, способных переводить входные данные вождения в обновленные команды; чекпойнт не заменяет полноценный симулятор автомобиля.

Для робототехники и других воплощенных систем Cosmos3-Nano-Sim-Transfer принимает пространственные команды от физического симулятора и текстовый промпт, а затем создает RGB-наблюдения для политики. За движение, контакты и физическое состояние по-прежнему отвечает симулятор. В описанном NVIDIA процессе действие обновляет симулятор, симулятор выдает пространственные команды, а модель рендерит следующее визуальное наблюдение.

Cosmos3-Nano-Sim-Bimanual, напротив, предсказывает визуальные последствия действий робота или камеры. Опубликованный пример поддерживает интерактивное моделирование двумя руками для воплощений YAM и AgiBot и может управляться политикой или джойстиками, которыми пользуется человек. Смешанная схема действий объединяет изменения точки обзора и манипуляции в одной последовательности управления; при обучении схема из 59 значений дополняется до 64.

NVIDIA строит вокруг чекпойнтов путь разработки

Релиз моделей является частью более крупной платформы NVIDIA Cosmos, а не отдельной загрузкой. Cosmos Framework компании предоставляет рецепты и навыки агентов для обучения, обработки мультимодальных данных, инференса, оптимизации и оценки. NVIDIA утверждает, что фреймворк работает не только с Cosmos 3, но и с моделями Alpamayo, GR00T, Qwen и pi0.5, а также совместимыми моделями Hugging Face.

Для адаптации фреймворк поддерживает LoRA и полное обучение с учителем, а также загрузку данных из JSONL, WebDataset, LeRobot и пользовательских адаптеров. NVIDIA также перечисляет офлайн- и онлайн-конвейеры обучения с подкреплением, включая DPO, GRPO, PPO, дистилляцию on-policy и DiffusionNFT. Это может позволить разработчикам перейти от предобученной мировой модели к обучению политики под конкретную задачу, не собирая самостоятельно каждый элемент процесса.

Слой развертывания — Cosmos NIM, набор GPU-ускоренных микросервисов NVIDIA. В блоге для разработчиков говорится, что конфигурации NIM поддерживают квантование, спекулятивное декодирование и маршрутизацию с учетом KV-кэша. NVIDIA сообщает об ускорении примерно в два-три раза на GPU H200, но это заявление компании, а источник не содержит достаточных экспериментальных деталей для независимого сравнения с другими стеками обслуживания.

Требования к оборудованию остаются существенными. NVIDIA указывает 58 ГиБ памяти GPU для генерации Cosmos3-Nano в BF16 и 44 ГиБ в FP8 с выгрузкой. Для дата-центра эти требования могут быть приемлемыми, но для небольших исследовательских команд и многих робототехнических систем, ориентированных на периферию, они значительны. Разрыв между загружаемым чекпойнтом и отзывчивым сервисом моделирования будет зависеть от пакетной обработки, целевой задержки, длины последовательности, числа датчиков и окружающего симулятора.

Доказательства сильнее для возможностей, чем для качества политик

Источники подтверждают существование четырех чекпойнтов, заявленные интерфейсы управления, доступность открытых весов и вспомогательные инструменты разработки и развертывания. Они также описывают конкретные сценарии: синхронизированную генерацию камеры и LiDAR для вождения, рендеринг с учетом состояния симулятора и предсказание действий двурукого робота.

Они не доказывают, что модели надежно сохраняют физические законы, точно предсказывают редкие события или улучшают производительность последующих политик. Статья Hugging Face прямо называет это открытыми исследовательскими вопросами, включая то, где модели достоверно поддерживают обучение и оценку политик, а где дают сбои. Эта оговорка особенно важна для приложений, чувствительных к безопасности.

Сгенерированный визуальный реализм не равен корректности моделирования. Сцена вождения может выглядеть убедительно, но неправильно передавать глубину, движение объектов, шум датчиков или последствия необычного маневра. Аналогично, робототехническая модель, обусловленная действием, может создавать правдоподобные кадры без точного сохранения динамики контактов. Архитектура NVIDIA частично решает эту проблему, оставляя физику и состояние внешнему симулятору в Sim-Transfer, но качество обучения политики все равно будет зависеть от интерфейсов между системами.

Источники также не предлагают независимого бенчмарка против конкурирующих мировых моделей, данных о внедрениях у клиентов или свидетельств валидации на широком наборе конфигураций датчиков. Поэтому разработчикам следует воспринимать релиз как доступную основу для разработки, а не как доказательство того, что синтетические развертки могут заменить испытания в реальном мире.

Значение для разработчиков и корпоративных покупателей

Для команд автономного вождения наиболее практичной может оказаться связь внешнего вида и геометрии. Совместная генерация RGB и LiDAR и управление, согласованное с картой, помогут создавать соответствующие визуальные и трехмерные наблюдения при изменении условий среды. Это полезнее для исследований слияния датчиков, чем генерация одних камерных кадров, при условии что согласование сохраняется после адаптации.

Для робототехнических компаний разделение Sim-Bimanual и Sim-Transfer предлагает два варианта развертывания. Sim-Bimanual может напрямую моделировать визуальные последствия действий робота или камеры, тогда как Sim-Transfer позволяет физическому движку сохранять контроль над состоянием и контактами. Последний вариант проще проверять, поскольку физическую траекторию определяет симулятор, а не генеративная модель.

Стоимость и операционная сложность, вероятно, определят внедрение. Командам нужны достаточная память GPU, симулятор или рендерер, конвейеры данных для собственных датчиков и процедуры оценки, выявляющие ошибки визуальной правдоподобности. Лицензия открытых весов может снизить барьеры для экспериментов, но коммерческим пользователям все равно нужно изучить условия OpenMDW1.1 и проверить соответствие предполагаемого использования, данных и модели распространения.

Более широкий конкурентный сигнал — попытка NVIDIA связать веса моделей, рецепты обучения, обучение с подкреплением и сервисы инференса в единый рабочий процесс Physical AI. Это может сократить интеграционные затраты команд, уже использующих инфраструктуру NVIDIA. Для организаций, предпочитающих независимое от поставщика обслуживание, дешевый инференс или оборудование за пределами предпочтительного GPU-стека компании, предложение может быть менее привлекательным.

За чем следить дальше

Первым сигналом станет независимая оценка обучения политик и поведения в замкнутом цикле. Полезные тесты должны сравнивать геометрию реальных и моделируемых датчиков, согласованность на длинном горизонте, охват редких событий и конечную производительность вождения или манипуляций, а не только качество видео.

Второй сигнал — насколько хорошо Transfer-Auto адаптируется к новым конфигурациям датчиков. NVIDIA представляет адаптацию и последующую дистилляцию в Sim-Auto как путь разработки, но пока нет данных о требуемом объеме данных, стоимости обучения и сохранении производительности.

Разработчикам также стоит следить за показателями задержки и памяти за пределами развертываний на H200, особенно робототехническим командам, которым нужен локальный или периферийный инференс. Наконец, принятие Cosmos Framework проектами, использующими модели за пределами Cosmos 3, покажет, создала ли NVIDIA действительно универсальную цепочку инструментов или главным образом экосистему вокруг собственных чекпойнтов.

Взгляд Creati.ai

Релиз NVIDIA важен не столько появлением еще одного генератора видео, сколько объединением нескольких интерфейсов для моделирования, обусловленного действиями: генерации «датчик-в-датчик» для вождения, рендеринга «симулятор-в-видео» и прямого предсказания действий робота. Это ближе к реальному построению систем Physical AI, чем единое и недифференцированное заявление о мировой модели.

Главной проверкой станет надежность во взаимодействии. Открытые веса и рецепты упрощают эксперименты, но разработчикам нужны доказательства того, что генерируемые наблюдения сохраняют геометрическую согласованность и полезность для решений политики на длинных развертках. Пока такие оценки не опубликованы, Cosmos 3 лучше рассматривать как существенную платформу для исследований и адаптации моделирования, а не как доказанную замену физических движков, реальных данных или физической валидации.