«Люди и ИИ-агенты строят роботов вместе»: NVIDIA выпустила Isaac ROS 5.0

«Люди и ИИ-агенты строят роботов вместе»

Релиз Isaac ROS 5.0 NVIDIA описала одной фразой: ROS — открытый фреймворк, который помогает людям строить роботов, а Isaac ROS 5.0 помогает делать это людям и ИИ-агентам вместе. Набор GPU-ускоренных пакетов на базе ROS представили на конференции ROSCon в Торонто.

Причина, по которой агенты вообще оказались в одном релизе с робототехникой, сформулирована в анонсе: ИИ-агенты меняют то, как пишется софт, — автоматизируют рутинные задачи, помогают ориентироваться в сложных кодовых базах и быстрее доводят идею до работающего приложения. Isaac ROS 5.0 переносит эти возможности в разработку роботов, добавляя агентные рабочие процессы и поддержку новых платформ, чтобы быстрее собирать, настраивать и разворачивать приложения.

Ставка на ROS сделана не с нуля: этот фреймворк даёт разработчикам общие инструменты, библиотеки и стандарты для построения и связывания роботизированных приложений, и на нём держится значительная часть современной робототехники. По формулировке NVIDIA, Isaac ROS приносит в экосистему ускоренные вычисления, модели физического ИИ и готовые к промышленному использованию библиотеки почти 1,3 миллиона пользователей ROS — на бесплатных и уже знакомых им инструментах с открытым кодом.

ROS Lyrical, Ubuntu 24.04 и общий интерфейс данных

В платформенной части релиза заявлены две вещи: поддержка ROS Lyrical и Ubuntu 24.04. Первое даёт разработчикам путь на последнюю версию платформы ROS, не отказываясь от ускорения тяжёлых робототехнических задач на вычислениях NVIDIA, второе обновляет базовую систему.

Более важная часть — стандартизация. NVIDIA вместе с Open Source Robotics Alliance (OSRA) внесла в ROS Lyrical стандартный интерфейс обработки данных, который помогает робототехническому софту одинаково эффективно работать на разном вычислительном железе, включая GPU. Интерфейс доступен всему сообществу ROS, а CUDA в релизе приведена как рабочий пример ускорения на GPU.

Исходный код библиотек остаётся открытым в организации NVIDIA-ISAAC-ROS на GitHub: там 66 публичных репозиториев, включая isaac_ros_common с общими утилитами, скриптами и тестовой инфраструктурой для пакетов Isaac ROS. Документация релиза опубликована на nvidia-isaac-ros.github.io, где Isaac ROS определён как набор ускоренных NVIDIA пакетов для ROS 2 с высокой производительностью и низкой задержкой, рассчитанных на Jetson и другие платформы NVIDIA.

Агентные навыки: настройка, манипуляция и захват

Практическая часть релиза — навыки. Новые навыки Isaac для настройки (setup) и манипуляции (manipulation) описаны как переиспользуемые рабочие процессы, которыми могут пользоваться и разработчики, и ИИ-агенты: типовые задачи разработки робота сводятся к повторяемым шагам. Отдельно компания отмечает документацию, рассчитанную на агентов, — она должна помогать агенту понимать инструменты и рабочие процессы Isaac ROS и быстрее превращать намерение разработчика в работающее приложение.

Часть навыков выходит за рамки отдельных правок в коде. Новый навык тонкой настройки FoundationStereo позволяет агенту помочь адаптировать модель стереовосприятия под конкретные камеры, окружение и саму задачу — чтобы разработчик получил более точное восприятие для своей конфигурации сенсоров.

FoundationPose — фундаментальная модель для оценки положения и отслеживания объектов — получила агентную библиотеку вывода: роботы определяют позицию и ориентацию объектов до 5,5 раза быстрее.

Третий навык — «pick and place», то есть захват и перемещение: типовой конвейер, связывающий детекцию, оценку глубины и выдачу позы, стал отдельным готовым навыком, который даёт разработчикам больше гибкости за пределами самого набора Isaac ROS. Компания напоминает и о том, что её навыки для физического ИИ уже работают в соседних областях — при генерации синтетических данных, обучении и оценке политик, а также в анализе безопасности открытого кода.

Экосистема: что уже собирают на Isaac ROS

AgenticROS — открытый проект под спонсорством компании RealSense — связывает Isaac ROS с открытыми моделями NVIDIA Nemotron и блупринтами NVIDIA NemoClaw, чтобы ИИ-агенты могли взаимодействовать с роботами на базе ROS. Сама RealSense оптимизирует под Isaac ROS свои новые AI-ориентированные стереокамеры глубины, включая D585 Pro, а также открытый SDK для Isaac ROS и краевой платформы Jetson Thor.

Intrinsic выпустила открытый набор Intrinsic Core — предварительно настроенные сервисы и возможности для ускорения промышленной робототехники; его частью стало Open Machine Tending Solution, референсное приложение для обслуживания станков с ЧПУ. Решение из коробки совместимо с FoundationPose для регистрации, отслеживания и оценки положения объектов: конвейер восприятия позволяет роботу динамически находить детали и работать с ними, сокращая потребность в жёсткой и дорогой оснастке и специализированной интеграции.

Seeed Studio использует Isaac ROS вместе с reBot Arm, объединяя ускоренное восприятие, пространственное понимание и планирование движения на Jetson Thor — от локализации объектов до манипуляции с учётом столкновений и автономного захвата. Magna применяет Isaac ROS как модульную GPU-платформу для восприятия, синхронизированного сбора данных и развёртывания моделей NVIDIA Isaac GR00T, дополняя её тестированием hardware-in-the-loop в Isaac Sim, чтобы переносить автоматизацию из исследований в производство и мобильность быстрее и с меньшими рисками.

В списке партнёров есть и инструменты разработчика. Менеджер пакетов Pixi от Prefix.dev помогает собирать воспроизводимые окружения для роботов и связывает ROS с платформой CUDA. Средства Foxglove для визуализации и отладки живых ROS-приложений интегрированы в туториалы Isaac ROS и поддерживают трёхмерные топики, меши nvblox и rosbags. Flexiv интегрирует Isaac ROS со своим адаптивным роботом Rizon 4, открывая путь от тестирования приложений в Isaac Sim к развёртыванию на физическом роботе.

Есть и измеримые примеры. Ekumen использует GPU-ускоренные пакеты Isaac ROS внутри существующих стеков ROS и Nav2 для точной стыковки, трёхмерного обнаружения препятствий, визуальной локализации и планирования движения в реальном времени: с isaac_ros_cumotion на GPU свободный от столкновений путь для складского манипулятора прокладывается примерно за 2–5 миллисекунд. Ouster интегрировала свои стереокамеры Stereolabs ZED с Isaac ROS, чтобы получить GPU-ускоренное восприятие, сохранив совместимость с остальной экосистемой ROS.

Стек целиком на роботе: от Orin Nano до Jetson Thor

Все приложения, которые собирают разработчики и агенты, в итоге должны работать на самом роботе, поэтому релиз поддерживает масштабируемые вычисления — от начального Jetson Orin Nano до высокопроизводительного Jetson Thor. Это даёт путь от разработки к развёртыванию по мере усложнения робототехнических задач.

Mentee Robotics использует Isaac ROS как основу восприятия и ИИ для гуманоида MenteeBot: робот интерпретирует визуальную информацию и выполняет выученные действия в реальном времени, а общий программный фундамент на Jetson Orin и Jetson Thor позволяет переносить наработки на следующие поколения машин. Universal Robots встроила Isaac ROS в свой SDK AI Accelerator, чтобы интеграторы быстрее разворачивали восприятие и движение, не разрабатывая сложный робототехнический софт с нуля: решение на Jetson помогает роботам адаптироваться к деталям, установленным неточно, снижая зависимость от дорогой оснастки и делая производственные ячейки гибче.

ROBOTIS, автор дружелюбного ROS-робота TurtleBot3, интегрирует Isaac ROS в своего AI Worker, применяя GPU-ускоренное восприятие объектов для манипуляции под управлением зрения — захвата, размещения и выравнивания. FieldAI встраивает Isaac ROS в устройства на Jetson, чтобы её роботизированные фундаментальные модели, способные работать полностью на роботе без подключения к облаку, лучше использовали ускорение GPU и эффективнее расходовали бортовой стек ИИ. Noble Machines применяет Isaac ROS на Jetson для ускорения разработки универсальных промышленных роботов, опираясь на готовые возможности ИИ и восприятия вместо создания их с нуля.

Доступность

Isaac ROS 5.0 доступен сейчас, бесплатно и с открытым исходным кодом; начать работу NVIDIA предлагает с материалов на GitHub. Документация по релизу опубликована на сайте проекта, включая ветку release-5.0.

Итог релиза сводится к двум линиям, которые NVIDIA называет двумя сторонами задачи физического ИИ: строить всё более способные роботизированные приложения и эффективно запускать их в реальном мире. По замыслу компании, открытая робототехническая экосистема, ускоренные вычисления и агентные рабочие процессы закрывают обе стороны в одном наборе.