«Репетиция в симуляции перед шагом на педаль»: Google показала, как Gemini 4 Argon ведёт роботов — 87% на ERQA и рост успеха с 56% до 75%

Что именно показала Google

Google Developers Blog опубликовал разбор того, как Gemini 4 Argon применяется в робототехнике: авторы называют сдвиг в физическом понимании, генерации кода и визуально-семантическом рассуждении тем, что открывает новые рабочие процессы по всей цепочке робототехники. Модель позиционируется как general-purpose physical reasoning model, то есть как модель, которую можно прикладывать на всём жизненном цикле робота, а не только к одной задаче.

Измеримая опора у заявления одна и конкретная — бенчмарк Embodied Reasoning (ERQA), который проверяет способность модели понимать и решать физические и пространственные задачи в трёхмерных средах. «Используя чистое рассуждение, Argon набирает 87%, обходя все остальные фронтирные модели», — говорится в записи.

Дальше текст устроен как витрина промптов по четырём направлениям: управление роботом (мобильная манипуляция с «практикой» в MuJoCo, zero-shot управление и управление видео-мировыми моделями в замкнутом цикле), Real2Sim (восстановление физически калиброванных симуляционных двойников), физическое понимание (детальная разметка ловкости, плотные функции ценности и оценка прогресса) и исследование с самоулучшением.

Робот сначала «прогоняет» движение в цифровом двойнике

Самый наглядный пример — Boston Dynamics Spot (12 степеней свободы в ногах плюс 6-степенная рука), который учится новой для себя задаче: наступить на педаль мусорного бака и выбросить туда банку газировки. Перед первым касанием реальной педали Argon строит шарнирный (articulated) цифровой двойник бака в MuJoCo и «тренирует» на нём движение — вплоть до удержания равновесия на трёх ногах.

Проверок две и они разнесены по исполнителям: сначала модель убеждается по фронтальным камерам, что цель правой передней ноги стоит по центру педали, а затем запускает «роё» из двух агентов-верификаторов — foot-verifier для шага по педали и hand-verifier для трёхмерного выравнивания руки внутри открытого бака — и только после этого отпускает банку. Это не одиночный запрос, а последовательность действий с самопроверкой на каждом шаге.

Второй пример — zero-shot управление простой рукой: Argon ставит упавшую кружку обратно вертикально и кладёт смятую салфетку внутрь неё, опираясь на «визуальную координатную оснастку» и набор примитивов действия. На калиброванном изображении с камеры запястья проецируется мировая сетка с шагом 2 см, а сами движения выражаются кодом — примитивами вида look_at, grasp, place, place_until_contact, goto, move_by и move_until_contact, между которыми модель визуально перепроверяет результат. Если статус возвращается как grasp_failed, модель заново осматривает сцену и восстанавливает замкнутый цикл, а не продолжает вслепую.

Третий вариант — управление видео-мировой моделью Gemini Omni: Argon ведёт руки так, чтобы из пяти разбросанных плиток Scrabble с буквами G, R, A, N и O собрать ровный ряд A-R-G-O-N. Вместо одного статичного промпта модель работает в замкнутом визуальном цикле — разбирает ключевые кадры последнего прогона и дописывает действия с таймстампами, разбивая сложное движение на простые шаги в одну сторону и не перекрывая камере вид на объекты.

Real2Sim: двойник по фото, видео и наброску на бумаге

Отдельный пласт — восстановление симуляции (Real2Sim) из трёх разных источников: записи с камеры робота, egocentric-видео человека и карандашного наброска. В случае с роботом Argon строит MuJoCo-сцену и подгоняет её итеративно по двум критериям: визуальное совпадение рендеров с камер head_left, left_wrist и right_wrist с реальными кадрами и физическое совпадение контактной силы и момента на каждом тактильном датчике пальца с записанным tactile_force — по времени, величине и направлению. Правило «без читерства в симуляции» прописано прямо: объекты могут двигаться только через реальный контакт с руками робота и окружением в шаге физического движка, а не через телепортацию или внешние силы.

Из egocentric-видео человека Argon вытаскивает задачу иначе: находит только значимые для манипуляции объекты, заменяет грубые ограничивающие параллелепипеды на составные выпукло-разложенные меши — чтобы вогнутые контейнеры поддерживали физическое размещение внутри, — и переносит траекторию человеческой кисти на 76-степенного бимануального гуманоида с 22-степенными пятипалыми руками. Дальше идёт стресс-тест на 500 Гц (шаг 0,002 секунды) без кинематических связей: проверяются силовое замыкание противопоставленных пальцев, чистый подъём объекта более чем на 2 см и устойчивая финальная установка.

Наконец, из наброска на бумаге Argon собирает сцену, где гуманоид Apollo 2 бросает мяч по параболической дуге и сбивает пирамиду из шести коробок по схеме 3-2-1. Модель синтезирует цельнокорпусную траекторию броска на 50 Гц из 140 шагов (2,80 секунды) в четыре фазы — от устойчивой стойки и замыкания пятипалого хвата до синхронного раскрытия пальцев на пике скорости руки — и проверяет в контактной физике mujoco_warp, что гуманоид сохраняет равновесие с дрейфом таза менее 3 см и сбивает все шесть коробок, после чего выгружает рендер в Blender 4.5 Cycles.

Понимание: разметка ловкости, загадка про шар и оценка прогресса

Argon умеет разбирать уже снятое видео задним числом: по съёмке сверху, где бимануальный робот ALOHA 2 за 136 секунд складывает квадратный лист в оригами-лису, модель выдаёт выровненную по времени четырёхуровневую иерархию — цель эпизода, шесть непрерывных семантических подзадач, 17 атомарных примитивов контактного уровня и автоматический контроль качества. Этот последний уровень держит показатель прогресса «плоским» во время промахов и повторов и понижает вес таких участков коэффициентом от 0,15 до 0,25 для обучения по подражанию — то есть неудачные попытки не выдают за прогресс.

Классическую головоломку про 12 шаров на весах модель переводит в робота: строится бимануальное окружение с двумя руками Franka FR3, 12 визуально неотличимыми шарами (11 по 150 граммов и один «аномальный» — 270 или 30 граммов) и шарнирными весами с двумя чашками. Solver, работающий только по стереокамерам без привилегированных наблюдений, выделяет искомый шар за три взвешивания, считывая наклон весов по вертикальному параллаксу, и раскладывает его в нужный лоток.

Функция ценности проверена на 60-секундном эпизоде сортировки колец из человеческого датасета UMI: синхронизируя виды от головы и обоих грейферов вокруг контактных переходов, Argon строит плотные предсказания ценности и разбирает траекторию на 28 сегментов с положительным, нейтральным и отрицательным наклоном прогресса. Иначе говоря, модель показывает не только «получилось или нет», а где именно движение продвигало задачу, а где топталось на месте.

Самоулучшение: данные из симуляции и три итерации на железе

Первый механизм — генерация новых данных в симуляции для дообучения generalist-моделей vision-language-action: отталкиваясь от одной RGB-фотографии реального стола, Argon самостоятельно строит калиброванный MuJoCo-двойник, придумывает новые задачи и синтезирует замкнутый генератор движения, собирая более 4 500 эпизодов с доменной рандомизацией. Итог, по данным Google, — рост Success Rate физического робота с 56% до 75% и сокращение времени выполнения с 35 до 24 секунд.

Второй механизм — итеративное самоулучшение прямо на железе: на простой 6-степенной руке модель прогоняет pick and place и сама ускоряет его от попытки к попытке — 58,9 секунды на первой итерации, 22,9 секунды на второй (с задеванием края коробки при сбросе) и 17,4 секунды на третьей с попаданием точно в центр. Между итерациями модель сама диагностирует сбой по своим логам и записям камер, проверяет исправление на «сухом» прогоне и повторяет.

Третий механизм — воспроизведение научных статей «одним промптом»: Argon читает рукопись по управлению роботом и выпущенные чекпойнты, переносит физическую модель и замкнутый контроллер в самодостаточные лаборатории на MuJoCo WebAssembly и проверяет их в headless Chromium, требуя ноль ошибок консоли и ненулевой прогресс задачи за 300+ кадров. Так, по словам Google, воспроизведены 68 интерактивных браузерных песочниц — от иерархической локомоции DeepLoco и акторов 50 Гц PPO в HUSKY до iLQR в Web Worker для Whole-Body MPC.

Где это доступно и чего запись не доказывает

Строить с Gemini 4 Argon можно уже сегодня на нескольких платформах Google: в Google AI Studio — для подписчиков Google AI Ultra, через Gemini API на платном тарифе, а также в Google Antigravity — для подписчиков Ultra, выбрав Gemini 4 Argon как активную модель для сложного планирования, запусков /goal и мультиагентной оркестрации. В Interactions API модель доступна как gemini-4-argon, с поддержкой в google-genai SDK с первого дня.

Держать рамку здесь важно: все цифры — 87% на ERQA, рост успеха с 56% до 75%, сокращение времени с 35 до 24 секунд, 68 воспроизведённых песочниц — это заявления Google о собственной модели по её же публикации, и независимого измерения по этому тексту нет. Итоги демонстраций подкреплены записями прогонов, которые читатель записи не может воспроизвести в тексте, а методология замеров в посте подробно не раскрыта. Смысл публикации в другом: она показывает, что модель применяют не только к «пониманию картинки», но и к замкнутому контуру «симуляция — реальный робот» — а это и есть та часть, по которой такие заявления обычно и проверяют.