InterMimicGen: гуманоид осваивает манипуляции в движении сам — один трекер и растущий набор движений вместо телеуправления

Проблема: человеческие данные не для робота

Захваченные взаимодействия человека с объектами дают богатый сигнал для обучения гуманоида манипуляциям в движении, но такие данные разрежены, разнородны и не исполняются роботом напрямую. Именно этот разрыв между «человеческим» и «роботским» движением и закрывает InterMimicGen.

Идея фреймворка — самоусиление: данные о движениях робота и политика трекинга улучшают друг друга в замкнутом цикле. Работа выложена на arXiv 5 октября 2026 года и продублирована на Hugging Face Papers.

Шаг 1: консолидация и ретаргетинг

Сначала авторы собирают вместе наборы захвата движения взаимодействий человека с объектами и ретаргетируют их в референсы для гуманоида. При переносе сохраняется координация всего тела и соотношения «рука — объект», которые обеспечивают работу ловких кистей.

На выходе получается большая и разнообразная коллекция референсов для ловкой манипуляции всем телом в движении. Это исходный ресурс, вокруг которого дальше наращивается всё остальное.

Шаг 2: единый физический трекер

Второй шаг — обучение физически обоснованного обобщающего трекера, который исполняет эти референсы в симуляции на гуманоиде с ловкими кистями. По масштабу и разнообразию авторы ставят его выше прежних систем трекинга гуманоидов для манипуляций в движении.

Одна общая политика охватывает всё разнообразие движений, а не набор отдельных навыков под каждую задачу. Именно единый трекер делает возможным следующий, ключевой шаг — замыкание цикла.

Шаг 3: маховик данных

Затем замыкается маховик данных: каждый раунд вносит небольшие изменения, сохраняющие задачу, — в то, где происходит взаимодействие и как тело его выполняет. Трекер дообучается на этих вариантах, и в следующий раунд переходят только те, чьё исполнение в симуляции действительно завершило задачу.

Со временем мелкие правки накапливаются и расширяют охват вокруг разреженных исходных демонстраций, при этом семантика задачи и качество движения сохраняются. Так система сама производит новые корректные примеры вместо того, чтобы ждать нового телеуправления.

Результаты и перенос на железо

Эксперименты показывают ретаргетинг с сохранением контакта для разных конфигураций робота, широкий трекинг одной обобщающей политикой и набор исполнимых движений, который растёт от раунда к раунду. Результаты подтверждены и на реальных роботах.

На проектной странице в качестве площадок показаны Unitree G1 с кистями Inspire, Dexmate Vega, Unitree G1 с резиновыми кистями и Booster K1; среди демонстраций — бимануальные конфигурации и эволюция движений от раунда 1 к раунду 5. Формула, которой авторы описывают подход, — «масштабировать как MimicGen, заземлять как InterMimic».

Зачем это нужно

Обучение гуманоидов упирается в данные: качественное телеуправление дорого, а человеческие демонстрации не переносятся на робота один в один. InterMimicGen предлагает не расширять ручной сбор, а растить данные из уже имеющихся демонстраций, проверяя каждое новое движение физикой в симуляции.

Такой цикл важен тем, что не требует новых людей в контуре и одновременно ограничивает набор движений только теми, которые робот действительно может исполнить. Ставка делается не на разовые рекорды, а на постоянно растущий ресурс, который можно переиспользовать для разных роботов и разных кистей.

Авторы, контекст и ограничения

Работа сделана в Иллинойсском университете в Урбане — Шампейне и NVIDIA: среди авторов Yucheng Zhang, Sirui Xu (руководитель проекта), Jinhong Li, Liuyu Bian, Anatulya Nandi, Derek Zhang, Xiangchen Liu, а также Xueting Li и Umar Iqbal из NVIDIA; научные руководители — Yu-Xiong Wang и Liang-Yan Gui.

Ценность InterMimicGen — в предложенном пути от разнородных человеческих демонстраций к постоянно расширяемому ресурсу движений для обучения гуманоидов. Но это исследовательская работа: в абстракте приводятся качественные результаты — сохранение контакта, рост числа исполнимых движений и перенос на роботов, — без числовых процентов успеха по задачам.