NVIDIA опубликовала workflow разработки, показывающий, как ИИ-кодирующий агент может помочь инженерам создавать приложения реального времени с помощью NVIDIA Holoscan, своей edge AI-платформы для задач, включая медицинскую визуализацию и робототехнику. Компания использовала этот подход для создания приложения сегментации эндоскопических инструментов с переиспользуемыми моделями, живой визуализацией, телеметрией и бенчмаркингом.

Публикация примечательна не столько как анонс нового продукта, сколько как практический пример того, как NVIDIA ожидает от разработчиков сочетать ИИ-кодирующих агентов со структурированными репозиториями, инструментами командной строки и человеческой проверкой. Центральный тезис заключается в том, что агенты полезнее, когда работают в рамках явных инженерных ограничений и воспроизводимых процессов разработки, а не пытаются сгенерировать всё приложение по одному запросу.

Медицинское приложение для обработки изображений, созданное итерациями

В примере NVIDIA повторно использовалась существующая модель MONAI для сегментации эндоскопических инструментов и демонстрационное видео Holoscan. Компания сначала подтвердила, что существующее приложение monai_endoscopic_tool_seg запускается локально, а затем разработала отдельное приложение вокруг того же пайплайна глубокого обучения.

Новое приложение было задумано для добавления живого отображения масок сегментации, статистического анализа, телеметрии во время выполнения и воспроизводимых performance-бенчмарков. NVIDIA описывает цель как сквозной workflow реального времени, однако в предоставленном материале нет конкретных цифр по пропускной способности, задержке, оборудованию или результатам бенчмарков.

Вместо того чтобы просить кодирующего агента реализовать всё сразу, инженер разделил работу на более мелкие вопросы. Среди них были: правильно ли настроена среда, можно ли запускать модель и видео в новом приложении и можно ли улучшить производительность рендеринга, не нарушая существующие функции.

Каждая итерация имела схожую структуру: инженер ставил цель и ограничения, агент изучал соответствующие примеры и документацию, агент внедрял и тестировал изменения, а инженер проверял получившийся код и результаты перед определением следующей задачи. Этот процесс сохранял проверяемость решений по мере усложнения приложения.

Как инструменты Holoscan направляют агента

Workflow объединяет три ресурса: репозиторий HoloHub, skills разработки и Holoscan CLI. HoloHub — это сопутствующая коллекция NVIDIA с референсными приложениями и компонентами для Holoscan. Его документация использует структуру постепенного раскрытия через agents.md, предоставляя агенту способ находить всё более конкретные указания вместо получения недифференцированного блока материалов.

К навыкам разработки относятся holohub-app-lifecycle и holohub-debug-build-run. Они описывают ожидаемый жизненный цикл приложения и операции, необходимые для отладки, сборки и запуска проектов. Holoscan CLI, вызываемый через обёртку ./holohub, обеспечивает общую интерфейсную среду выполнения.

Эта общая среда важна не только для удобства. Агент может находить и выполнять операции разработки через те же CLI-команды, которые инженер может проверить, повторить и аудировать. В принципе это сокращает разрыв между кодом, сгенерированным агентом, и командами, используемыми для его валидации.

NVIDIA утверждает, что workflow не зависит от конкретного агента. Для демонстрации использовался Codex с GPT-5.6 в режиме «sol max», при этом в публикации указано, что упомянутые времена обработки являются приблизительными. Таким образом, пример иллюстрирует процесс, а не доказывает, что для разработки под Holoscan требуется какая-то конкретная модель или агент.

Что показывают данные — и чего не показывают

NVIDIA сообщает, что итеративная разработка повысила пропускную способность приложения и снизила задержку по мере бенчмаркинга и оптимизации реализации. Также описано абляционное исследование, в котором сочетание Holoscan CLI, skills разработки и документации или примеров дало наиболее эффективный и качественный workflow по сравнению с использованием только документации или только CLI.

Эти выводы предоставлены самим вендором. Исходный материал не указывает независимого оценщика, не раскрывает полную тестовую конфигурацию, не приводит числовых результатов бенчмарков и не показывает, как workflow работает с разными агентами, моделями, приложениями или аппаратными конфигурациями. Поэтому результаты следует читать как свидетельство собственного эксперимента разработки NVIDIA, а не как общую гарантию производительности для ИИ-ассистированного инжиниринга.

Тем не менее публикация даёт более конкретный сигнал об использовании агентов, чем общее утверждение, что кодовые ассистенты могут писать софт. Агенту были даны существующая кодовая база, референсные реализации, процессная документация и явные ограничения вокруг повторного использования модели, визуальных доказательств и целостности весов модели. Человеческая проверка оставалась частью каждой итерации, а следующую цель задавал инженер — не агент.

Это различие важно для задач реального времени и медицины. Сгенерированная реализация может компилироваться или давать визуальный результат, но при этом нарушать требования по задержке, менять поведение модели или затруднять воспроизводимость производительности. Workflow NVIDIA рассматривает такие риски как инженерные вопросы, которые нужно тестировать, а не как предположения, передаваемые модели.

Значение для разработчиков и корпоративных команд

Для разработчиков Holoscan непосредственный вывод организационный не меньше, чем технический: агенту нужна обозримая структура проекта и операционные инструменты. Репозиторий с примерами, инструкциями по жизненному циклу, процедурами отладки и стандартными командами даёт агенту ограниченный путь через незнакомую инфраструктуру.

Такой подход может помочь командам модернизировать референсные приложения, не отказываясь от проверенных компонентов. В примере NVIDIA модель сегментации и примерный входной сигнал были переиспользованы, а окружающее приложение получило визуализацию и телеметрию. Это более узкая и управляемая задача, чем просить агента выбрать модель, спроектировать архитектуру и создать с нуля весь медицинский imaging-пайплайн.

Для корпоративных заказчиков и продуктовых команд workflow поднимает несколько вопросов внедрения. Командам нужно определить, какие сгенерированные изменения требуют человеческого одобрения, как защищаются веса модели и данные, воспроизводимы ли бенчмарки на целевых устройствах и как выявляются регрессии, когда агент изменяет код рендеринга или пайплайна. В регулируемых или критичных к безопасности средах аудируемость команд и результатов тестов может быть не менее важна, чем скорость генерации кода.

Пример также указывает на конкурентное различие между платформами кодирующих агентов. Ценность может зависеть не только от базовой языковой модели. Она может определяться тем, насколько хорошо агент связывается с отраслевой документацией, исполняемыми инструментами, референсными приложениями и циклами оценки. Вклад NVIDIA состоит в том, чтобы упаковать эти элементы вокруг Holoscan и HoloHub, оставив уровень агента заменяемым.

На что смотреть дальше

Следующим полезным сигналом станет публикация NVIDIA числовых результатов для эндоскопического приложения, включая конфигурацию оборудования, сравнительные базовые значения, пропускную способность, задержку, а также стоимость или время агентно-ассистированных итераций. Эти детали упростили бы оценку заявленной оптимизации.

Разработчикам также стоит следить за тем, появятся ли в HoloHub дополнительные ориентированные на агентов skills и примеры для других задач Holoscan, таких как робототехника или другие медицинские imaging-пайплайны. Более широкое покрытие показало бы, насколько workflow масштабируется за пределы одного приложения.

Наконец, независимое тестирование на разных кодирующих агентах и моделях помогло бы отделить вклад репозитория и CLI NVIDIA от возможностей конкретного агента, использованного в демонстрации. Данные о частоте ошибок, усилиях на проверку и воспроизводимости были бы особенно важны для корпоративного внедрения.

Взгляд Creati.ai

Анонс NVIDIA лучше всего понимать как схему для ограниченного agentic engineering, а не как доказательство того, что ИИ-кодирующий агент может самостоятельно разрабатывать медицинский софт реального времени уровня production. Самая сильная часть примера — это петля обратной связи: ограниченные цели, исполняемые инструменты, бенчмарки и человеческая проверка.

Для создателей ИИ более широкий вывод прагматичен. Агенты становятся надёжнее, когда команды превращают знания о проекте в легко находимые инструкции и делают валидацию частью того же workflow, что и реализация. Сможет ли стек Holoscan от NVIDIA дать такое преимущество в масштабе, будет зависеть от независимых бенчмарков, более широких примеров и доказательств того, что процесс снижает инженерные усилия, не ослабляя надёжность и контроль.