Команда LeRobot показала, как обучить гуманоида G1 движению всем корпусом

Что именно собрали

Команда LeRobot показала сквозной сценарий обучения гуманоида: телеуправление, запись датасета, обучение политики и запуск на роботе Unitree G1 — всё внутри LeRobot. Логика решения разделена на два уровня. Политика π0.5 получает языковую инструкцию, показания камер и состояние робота и предсказывает не углы суставов напрямую, а фрагменты латентных токенов движения SONIC; быстрый контроллер уже на самом G1 декодирует эти токены в исполняемые целевые положения суставов. Иначе говоря, π0.5 учит поведение на уровне задачи, а SONIC отвечает за быстрое исполнение движения всем корпусом.

Ключевая техническая замена — целевое действие. Вместо записи суставных целей робота в датасет попадает 64-мерное латентное представление действия, снятое с энкодера SONIC, а исполняет его декодер SONIC. На вход при телеуправлении подаётся движение оператора в VR: оператор задаёт движение головы и запястий, остальную часть тела достраивает SONIC, и полученный поток латентных движений становится целью для имитационного обучения.

Аппаратная часть: G1, OpenArm и напечатанные детали

Перед обучением робот пришлось дооснастить. На запястья G1 ставятся грипперы OpenArm через напечатанные на 3D-принтере переходники. Вторая камера крепится на печатный держатель, чтобы политика получала устойчивый эгоцентричный вид, не зависящий от камер на запястьях. На спине G1 размещён печатный корпус, в котором лежит адаптер CAN-FD и дополнительная проводка для грипперов и камер, а съёмная лицевая панель оставляет доступ к интерфейсу без разборки робота.

Напечатанные детали опубликованы отдельно — их можно повторить самостоятельно.

SONIC: маленький автоэнкодер для всего тела

Центральный элемент схемы — SONIC, автоэнкодер объёмом 42 миллиона параметров, обученный более чем на 100 миллионах кадров движения из корпуса BONES-SEED и перенастроенный под Unitree G1. Его компактность принципиальна: модель запускается прямо на роботе, где запас по задержке и вычислениям ограничен. Разнородные источники движения — VR-позы, эталонные суставы, движения человека, движение, восстановленное по видео, или результат обученной политики — кодируются в общий 64-мерный квантованный токен движения; декодер соединяет этот токен с короткой историей проприоцептивного состояния и выдаёт исполняемые целевые положения суставов.

Интеграция в LeRobot сосредоточена именно на стороне декодирования: вызывающая сторона подаёт токен движения, робот получает суставные цели.

Основание для SONIC — датасет, а не инженерная эвристика. BONES-SEED содержит более 142 тысяч размеченных движений человека, то есть примерно 288 часов, включая перенастройку под Unitree G1.

Датасет и обучение политики

Для демонстрации конвейера команда обучила политику переноса банки на датасете nepyope/can_clean_final. В нём около 100 эпизодов при 50 кадрах в секунду — примерно 71 минута телеуправления всем корпусом; в каждом эпизоде используется одна инструкция: «Bring the can to the white table.». Карточка датасета уточняет состав: 105 эпизодов, 212 290 кадров, три камеры, запись робота Unitree G1, произведённая 25 августа 2026 года, задача — взять банку с низкого стола и поставить её на белый стол.

Состояние там 31-мерное (29 положений суставов G1 плюс два состояния грипперов), действие — 66-мерное: 64 числа латентного представления SONIC и две команды грипперам. В карточке датасета отдельно отмечено известное ограничение записи: левый гриппер не работает.

Само обучение заняло 12 тысяч шагов файнтюна базовой модели lerobot/pi05_base на четырёх GPU H100. Полученная политика опубликована как nepyope/pi05-can-to-martino-12k, то есть воспроизводима вместе с данными. Публичных данных о том, сколько прогонов на реальном железе выдержала эта политика, в статье не приводится — там описан конвейер, а не заявленная надёжность.

Эксперимент «а если VLA не нужна»

Второй сюжет статьи — попытка воспроизвести результаты работ ViBE и ORCS без языковой модели. Здесь на SONIC обучается LoRA-адаптер в симуляторе mjlab методом PPO, а задачей становится уклонение от брошенных мячей по данным глубины с камеры на голове и по состоянию тела робота. Архитектура такая: глубина с головной камеры проходит через замороженную Theia-Tiny — небольшую визионную базовую модель для обучения роботов — и компактный обученный временной адаптер, который сжимает 16 кадров глубины (примерно 0,6 секунды) в 128-мерный вектор; семь низкоразмерных адаптеров соединяют этот вектор с текущим состоянием робота и подают в SONIC для получения суставных целей. Во время обучения вспомогательная задача просит восприятие предсказывать будущее.

Результаты получены исключительно в симуляции и лишь на трёх сидах: выпущенная политика по глубине уклонилась от 79,1% разрешённых бросков, та же политика с пустой глубиной — от 0%, а привилегированный «оракул», которому отдано истинное состояние мяча из симулятора, дошёл до 97,4%. Это сравнение показывает вклад именно визуального канала, но не является измерением на реальном роботе.

Что вокруг: железо и данные сообщества

Существенная часть статьи — обзор того, чем дополняют такой конвейер снаружи. Перчатка Homunculus напрямую измеряет движение суставов пальцев для записи датасетов манипуляции и телеуправления; последний открытый релиз включает плату на ESP32-C3, читающую 16 датчиков Холла SS49E через мультиплексор, прошивку, проект печатной платы в KiCad, печатные детали, URDF-модель и интерактивный просмотрщик. Перчатка интегрирована в LeRobot как телеоператор HomunculusGlove: она читает поток с датчиков, ведёт калибровку диапазона движения по каждому пальцу и передаёт движение перчатки на кисть HOPE-Jr. Позже идея выросла в экзоскелет Homunculus для телеуправления рукой: он измеряет движение суставов напрямую, а не восстанавливает его по нескольким отслеживаемым точкам.

HOPEJr — полноразмерная гуманоидная рука с сухожильными приводами и пальцами, собранная из печатных деталей и серийных сервоприводов; интегрированные в LeRobot рука и кисть стоят около 500 евро. Со стороны передвижения Виржиль Батто сделал LeRobot Humanoid — полностью напечатанного 12-степенного двуногого робота (по шесть на ногу) на приводах RobStride CAN-FD и Raspberry Pi 5, со спецификацией примерно на 2 500 долларов.

Данные сообщества, на которые можно опереться: HIW-500 — более 500 часов и 23 тысячи эпизодов телеуправления Unitree G1 в 12 реальных домах; eidon-ai/tracker-pov — 1 274 часа видео от первого лица с отслеживанием рук по 7-точечной IMU, записанных во время обычной домашней работы; в качестве публичного примера приводится nepyope/unitree_box_move_blue_full с 550 эпизодами и примерно 475 тысячами кадров. Среди других — OMG-Data с примерно 798 тысячами эпизодов движения G1 и NVIDIA GRAIL.

Отдельная линия — сколько данных вообще нужно. Статья ссылается на OpenHLM, эмпирический рецепт для локомоции и манипуляции всем телом: там показано, что поведение можно выучить на относительно скромных объёмах данных под конкретную задачу, и производительность на их бенчмарке в основном выходит на плато около 40 демонстраций на задачу. В аннотации самой работы OpenHLM сформулирована более широкая гипотеза: большинство существующих систем разделяют верхнюю и нижнюю часть тела на отдельные контроллеры, что ограничивает координацию, и цель работы — построить цельнотелесную vision-language-action модель, отображающую язык и пиксели прямо во все степени свободы гуманоида. Авторы проводили систематическое исследование по трём фазам — телеуправление всем телом, дизайн VLA-модели и гетерогенное совместное обучение — и получили, в частности, вывод, что интерфейс телеуправления на основе суставов превосходит варианты, открывающие лишь часть степеней свободы.

Рамка: LeRobot как общий слой

Смысл интеграции понятен только в контексте самой библиотеки. LeRobot заявляет цель — дать модели, датасеты и инструменты для реальной робототехники на PyTorch и снизить порог входа, чтобы сообщество могло пользоваться общими датасетами и предобученными моделями. Аппаратно-независимый интерфейс на Python стандартизирует управление от дешёвых манипуляторов SO-100 до гуманоидов, а формат LeRobotDataset на Parquet и MP4 позволяет хранить, стримить и визуализировать большие роботизированные наборы данных с Hugging Face Hub. Документация описывает тот же маршрут, что и разобранный эксперимент: телеуправление, запись, обучение, развёртывание.

В списке штатно поддерживаемого железа LeRobot уже числятся и OpenARM, и Unitree G1, а HOPEJr — в перечне поддерживаемых роботов; библиотека рассчитана на расширение через собственный интерфейс Robot. В лицензионной части датасета nepyope/can_clean_final указана apache-2.0, а сам набор помечен тегами LeRobot, unitree_g1 и sonic.

Что дальше

Авторы статьи обозначают следующий шаг прямо: поддержка ASIMOV — открытого гуманоида от Menlo Research. Судя по составу публикации, работа идёт не одиночным релизом, а сборкой общей инфраструктуры: латентное представление движения, единый формат датасета, открытые печатные детали и опубликованные веса.