ProjectSim: бенчмарки робототехники должны подсказывать, какие данные собирать дальше

Что измеряют бенчмарки робототехники

Отправная точка — задача, которая в 2015 году выглядела чисто организационной: разные лаборатории тестировали свои методы на разных предметах, поэтому было непонятно, чей алгоритм действительно лучше, а кому просто достались более удобные объекты. Проект YCB предложил общий набор бытовых предметов, их цифровые модели и типовые протоколы испытаний, чтобы методы захвата можно было сравнивать на одном и том же. Общие тестовые объекты не потеряли смысла и сейчас, а рядом с ними появились бенчмарки вроде BEHAVIOR 1K, который описывает тысячу бытовых активностей, включая задачи с жидкостями, тканью и нагревом предметов. Стэнфордский проект формулирует это прямо: тысяча занятий, которые люди действительно тратят время на выполнение и хотели бы переложить на робота.

Часть тестов проверяет отдельные компоненты системы. BOP измеряет оценку позы объекта — то есть его положение и ориентацию по изображениям, — а GraspNet оценивает предложенные захваты: где поставить схват и как его ориентировать. Общие изображения и аннотации позволяют командам сравнивать свои методы, не выстраивая ради этого целую роботизированную систему.

Другие тесты проверяют выполнение задачи целиком: MetaWorld, RLBench и ManiSkill запускают политику — систему, которая выбирает действия робота, — внутри симуляции. В замкнутом контуре политика получает новые наблюдения прямо во время действий и потому может реагировать на то, что происходит на самом деле: если предмет выскользнул, последующие действия должны учитывать его новое положение. Среду можно сбросить и прогнать заново, чтобы сравнить политики на серии повторных попыток.

Наборы задач показывают и то, как робот учится. LIBERO проверяет перенос знаний и непрерывное обучение: помогает ли освоение одной задачи другой и сохраняет ли политика прежние навыки, осваивая новые. CALVIN проверяет, как политика связывает навыки вместе, предлагая последовательность инструкций на естественном языке: среда между инструкциями не сбрасывается, поэтому каждая задача начинается из состояния, оставленного предыдущей.

Самый показательный пример свежих наборов — RoboCasa365 с 365 задачами в 2 500 кухонных окружениях; по данным проекта, релиз включает 365 задач, более 2 500 кухонных сцен и свыше 2 200 часов демонстрационных данных. В начальном сравнении политика GR00T N1.5, дообученная на 30 000 демонстраций в 300 задачах, показала 43 % успеха на задачах вокруг отдельных навыков, 9,6 % — на комбинациях, которые встречались в дополнительном обучении, и 4,4 % — на комбинациях, которых там не было. Составные активности оказались заметно труднее разрозненных навыков, и именно раздельные оценки это показывают: единое среднее скрыло бы разницу.

Отдельная проблема — доверие к успеху. В LIBERO Plus часть оценённых политик продолжала выполнять привычные задачи при пустой инструкции, а когда инструкция меняла целевой объект, они часто продолжали действовать с исходным. Успех с обычной инструкцией маскировал слабость в следовании другой просьбе в той же сцене. Есть и физические бенчмарки — FurnitureBench со сборкой мебели и Functional Manipulation Benchmark с захватом, переориентацией и точной вставкой, а также RoboChallenge и RoboArena, где политики запускают удалённо на общем наборе реальных задач. За пределами манипуляции Habitat добавляет навигацию и перестановку объектов, HumanoidBench — задачи с координацией всего тела гуманоида, RoboCup@Home — бытовой сервис с взаимодействием с людьми.

Почему физический эксперимент не повторяется

Для больших языковых моделей многое решается просто: скачать те же входные данные, прогнать другую модель и применить тот же код оценки. С роботом так не получится. Публикация политики и её кода не воспроизводит калибровку камеры, накладки схвата, поверхность стола и расстановку предметов. Если миска стоит чуть дальше от схвата, чем в прошлом прогоне, робот может её толкнуть вместо того, чтобы схватить, и следующее изображение покажет уже другое положение, — повторить исходную попытку воспроизведением прежних команд не выйдет.

Такие попытки требуют физической работы: оборудование нужно обслуживать, предметы — расставлять заново, камеры — калибровать, записи — проверять. Масштаб усилий виден по DROID: 76 000 демонстраций и 350 часов взаимодействия собирали 50 человек из 13 институтов в течение года; по данным самого проекта, это 76 тысяч траекторий и 350 часов данных взаимодействия, собранных в 564 сценах и 86 задачах пятьюдесятью сборщиками за 12 месяцев. DROID — обучающий набор, а не оценочный бенчмарк, но он показывает, сколько труда стоит разнообразный физический опыт.

Записи нужно ещё и достаточно задокументировать. Команда датасета LeRobot описывает отсутствующие аннотации задач, неоднозначные подписи камер и несогласованные форматы действий: без этой информации загрузивший датасет может не знать, какая задача выполнялась и как трактовать значение действия. Для оценочного набора важно и то, какие объекты, комнаты и задачи исключили из обучения, потому что незнакомый предмет, незнакомая комната и незнакомая комбинация знакомых действий проверяют разные виды обобщения.

Бенчмарк как подсказка, что тренировать дальше

Учитывая стоимость сбора физического опыта, тесты, по мнению авторов, должны помогать решать, что политике тренировать следующим. Полезный тест умеет найти слабость, предложить опыт, который её закрывает, и измерить, помог ли этот опыт, — а это и есть доказательство для одного из самых дорогих решений в обучении роботов: какие данные собирать дальше.

Пример: политика обычно берёт деталь и доносит её до нужного места, но не может вставить. Неудачные попытки дают повторяющуюся картину — деталь цепляется за край, а робот продолжает давить под тем же углом. Отсюда следует конкретное дополнение к обучению: демонстрации того, как отвести деталь, выровнять её и попробовать снова.

Связь с восстановлением после ошибки уже изучают. REBOOT сопоставляет неудачи точной сборки с демонстрациями восстановления, а LIBERO RECOVER проверяет это в симуляции, добавляя примеры восстановления в данные обучения. Дополнительные примеры помогли политикам чаще завершать задачи, когда их ставили прямо в состояние после предыдущей неудачи — например, с миской, сдвинутой неудачным захватом, — но почти ничего не изменили, когда политики начинали задачу с начала и встречали собственные ошибки по ходу. Поэтому найти слабость и собрать примеры — только половина работы: нужно ещё проверить, чему политика на этих примерах научилась.

Первый эксперимент: сократить разрыв real-to-sim

Целевую практику авторы хотят в основном создавать в симуляции, где политика может перепробовать много вариантов трудного взаимодействия без человека, заново расставляющего предметы. Для этого симуляция должна сохранять именно ту трудность, которую нужно преодолеть: если деталь встаёт на место в симуляции, а на реальном краю цепляется, симулированная практика убрала проблему, которую робот должен научиться решать.

Поэтому первый эксперимент ProjectSim посвящён разрыву real-to-sim — расхождению между поведением политики на физической установке и в её симулированной реконструкции. Исследователи проверяют, приближают ли более точные ассеты и сцены — геометрия объектов, внешний вид и физические свойства — симулированное поведение к результатам, полученным на роботе. Они опираются в том числе на работы вроде SIMPLER, сравнивающей поведение в реальной и симулированной установке, и SimFoundry, которая восстанавливает интерактивные сцены по реальному видео. В их постановке внешний оценщик прогонял и оценивал физические испытания на установке с двумя роботизированными руками, а геометрия и внешний вид объектов восстанавливались по снимкам сцены вместе с такими свойствами, как масса и трение. Фон, который видит политика, воспроизводится гауссовым сплатом — трёхмерным представлением, построенным по изображениям.

Затем те же политики запускают на соответствующих симулированных задачах и сравнивают их оценки и этапы, до которых они доходят, с физическими результатами. Если подход подтвердится на большем числе задач и политик, авторы хотят использовать такие бенчмарки для поиска слабых мест и проектирования симулированного опыта: практику можно будет вести в масштабе, не собирая каждый дополнительный пример на физическом роботе.

Бенчмарки робототехники прошли путь от общих наборов объектов до проверки целых активностей и теперь показывают, где задача ломается, какие изменения политика выдерживает и каких способностей ей не хватает. Следующий шаг, по мысли авторов, — связать это понимание с выбором опыта для обучения: каждая оценка определяет, что тренировать, а следующая измеряет, что улучшилось.