«Разработчики направляют агентов словами»: NVIDIA собрала в Omniverse семь проектов симуляций

Что показала NVIDIA

NVIDIA опубликовала в своём блоге разбор того, как разработчики соединяют frontier-модели ИИ с библиотеками Omniverse, чтобы собирать симуляционные приложения — среды для проверки сценариев, поиска причин отказов и улучшения конструкций.

По замыслу NVIDIA, человек ставит агенту задачу обычным текстом, просматривает результат и уточняет изменения, а библиотеки Omniverse дают ускоренные на GPU физику, рендеринг и симуляцию датчиков.

В опубликованных примерах фигурируют разные frontier-модели, в том числе GPT-6 Astra и Claude Fable 5, а сами проекты охватывают склад с человекоподобным роботом, автономное вождение, цифровые двойники датчиков и модель Международной космической станции в браузере.

Склад с человекоподобным роботом

Продакт-менеджер Omniverse Фрэнк ДеЛиз собрал интерактивный симулятор склада с человекоподобным роботом и видами от первого и третьего лица — чтобы проверять поведение задач до их автоматизации.

Он поручил Astra подключить библиотеки Omniverse: физику (ovphysx), обновление сцены (ovstage), рендеринг (ovrtx) и интерфейс (ovui), а физическую сцену собрать с помощью SimReady (simready-foundation). Код анимации и приложения агент сгенерировал сам.

Испытания автономного вождения

Менеджер команды симуляционных технологий Дойюб Ким поручил Astra построить «Zero to Alpamayo» — переиспользуемую среду симуляции на основе Market Street в Сан-Франциско.

Агент сначала разметил рабочий процесс, а затем поэтапно соединил создание активов, трафик, RTX-симуляцию датчиков Omniverse и вождение Alpamayo, проверяя каждую интеграцию. Прототип стал стендом для сравнения моделей и отслеживания того, как изменения сцены или датчиков влияют на поведение автомобиля.

В отдельном эксперименте Cosmos3-Nano менял погоду и освещение в записанных видео симуляции, чтобы сравнить реакцию модели вождения на один и тот же сценарий при разных условиях.

Цифровые двойники датчиков

Чтобы доверять симуляции, нужно знать, насколько точно виртуальные датчики повторяют реальные. Эшли Рид, работающая над валидацией RTX-датчиков, поручила агентам Astra и Claude Fable 5 сравнить выходы камеры ovrtx и «сырого» лидара с записанными данными.

Агенты создали два цифровых двойника с нуля и улучшили два существующих: примерно за три дня они измеряли расхождения, создавали и правили сцены OpenUSD и проверяли результат, а критерием приёмки служили метрики камеры и лидара.

Правки касались недостающих объектов, геометрии и материалов — измерения расхождений стали способом направлять создание и улучшение сцены.

Robo Olympics: физика вместо анимации

Руководитель инженерного и продуктового направления Omniverse Тэ Ким с помощью спортивных видео и текстовых подсказок направил Astra на сборку «Robo Olympics» — экспериментального проекта, где симулированные гуманоиды Unitree G1 выполняют спортивные движения.

Агент построил контроллеры и уточнял их в физических прогонах: поведение считал Newton Physics Engine, расчёты ускорял открытый фреймворк NVIDIA Warp, а сцены и изображения виртуальных камер рендерил ovrtx.

В одном из экспериментов робот преодолел планку в 64 из 100 попыток — эти прогоны дали обратную связь для настройки тайминга и управления.

Разборка, CAD и космическая станция

Старший продакт-менеджер OpenUSD Йенс Йебенс поручил Astra смоделировать автомобильную подвеску в PTC Onshape и настроить её в NVIDIA Isaac Sim. Агент измерил доступное пространство и спроектировал гаечный ключ, которым робот может дотянуться до болтов подвески; Йебенс сообщил об успешном демонтаже детали в симуляции.

Инженерный директор Ник Джонс одной подсказкой собрал из активов NASA модель Международной космической станции в OpenUSD с телеметрией, а второй подсказкой перевёл сцену на дневную сторону Земли. В работе использовались Blender для подготовки активов и библиотеки Omniverse для рендеринга (ovrtx), рантайма сцены (ovstage) и стриминга (ovstream).

Ещё один участник, Чираг Маджитиа из команды инженерных приложений Isaac, поручил Astra превратить стереосъёмку помещения в редактируемую OpenUSD-студию: реконструкцию собрали на PyCuSFM, FoundationStereo и nvblox, агент соединил сгенерированные и созданные в Blender активы, а USD Content Agents настроили движение и взаимодействие объектов. Тесты в Isaac Sim уточнили столкновения и контакты дверей и ящиков.

Что за этим стоит

Во всех примерах человек остаётся постановщиком: он формулирует задачу текстом, проверяет промежуточные результаты и принимает решения, тогда как агент берёт на себя сборку кода, подключение библиотек и рутинные правки сцен.

NVIDIA описывает это как способ сократить путь от идеи до работающего симуляционного приложения — не утверждая, что агент заменяет инженера.