Runway представила Praxis-1 — open-weight world action model, которая переносит видео-предобучение в управление реальными роботами

Проблема, из которой выросла Praxis-1

Runway формулирует задачу так: у любого робототехнического проекта с амбициями крупномасштабного развёртывания упирается в одно и то же — реальных данных мало, и собирать их в объёме, который нужен универсальной политике, дорого. Для сценариев с частыми исключениями — автономного вождения или бытовой робототехники — практического способа набрать нужный объём данных нет вообще, тем более в осмысленных количествах.

Видео, напротив, практически безгранично, и становится почти бесконечным по мере того, как генеративные модели догоняют реальное видео по качеству и скорости. Люди снимают и загружают повседневной жизни каждый день больше, чем любая робототехническая лаборатория могла бы собрать через телеуправляемые демонстрации.

У этой ставки есть измеренная опора: по данным Runway, симуляция роботизированных политик внутри их world model предсказывает реальные результаты с корреляцией 0,95, что выгодно отличается от более дорогих подходов на основе 3D-реконструкции. Praxis-1 продолжает эту логику — что лучшие модели политик будут учиться на видео и использовать этот масштаб для embodied-интеллекта.

Видео-предобучение как фундамент политики

Praxis-1 опирается на предыдущую работу Runway по превращению больших видеомоделей в интерактивные модели реального времени — Solaris и GWM Worlds 2. Обучая модели точной физике — как ведут себя объекты, как двигаются руки, как выглядит задача на середине, — компания получила динамичные и сложные среды для обучения агентов как в цифровом, так и в физическом мире.

Логика переноса проста: политика, которая уже понимает физическую правдоподобность и поведение объектов из видео-предобучения, получает огромную фору перед политикой, построенной только на данных о действиях. Runway сравнивает это с языковыми моделями, которые учатся на доступном тексте: понимание структуры мира из большого корпуса позволяет им затем работать в условиях, отличающихся от обучающих.

Тот же эффект, по наблюдениям Runway, работает и в робототехнике: качество политики растёт вместе с масштабом видео от третьего лица, а узким местом становится не архитектура, а объём общего видео, на котором модель может учиться.

Что показывают измерения

Ключевой график публикации сравнивает политики, обученные с нуля на веб-видео и на видео с телеуправляемых роботов, по финальной ошибке размещения объекта после дообучения. Результат у обоих подходов оказался практически одинаковым: 16,1 см для веб-видео против 16,0 см для роботизированного. Погрешности — ±1 стандартная ошибка среднего по 93 оцениваемым парам, и Runway прямо оговаривает, что различия меньше планки погрешности незначимы.

Отдельно описываются четыре класса ситуаций, которые ломают политики, обученные только на демонстрациях: жёсткие повторяющиеся сцены, где среди множества почти одинаковых объектов нужен один конкретный; захламлённые сцены с окклюзией и перекрывающейся посудой; прозрачные материалы вроде льда и прозрачного пластика со слабыми подсказками о глубине; и деформируемые объекты вроде ткани, у которых нет фиксированной точки захвата.

В демонстрациях Runway показывает и многошаговые задачи в сложной среде: базовая модель подходит к полке, направляется к объекту, берёт книгу и убирает её. Ещё один пример — перенос одной и той же политики между студией с контролируемым светом и фиксированной оснасткой и домашней кухней со смешанным освещением, причём без дообучения.

Ранние партнёры на собственном железе

До публичного запуска Runway разворачивает Praxis-1 у ключевых партнёров, и каждый запускает модель на своей аппаратной платформе. Noble Machines тестирует двуручную манипуляцию, Standard Bots — шестиосевой манипулятор RO1, а Ultra — мобильную базу.

Такое тестирование, по словам Runway, задумано, чтобы проверить одновременно эффективность и безопасность: компания собирается оценивать модель на разных embodiments и средах, находить и закрывать пробелы до перехода к общей доступности. Дополнительные партнёры получат ранний доступ до запуска, а команда Runway принимает заявки от тех, кто хочет протестировать Praxis-1 на своём железе.

Почему веса открытые

Публично Praxis-1 выйдет с открытыми весами, а не как закрытая модель. Runway объясняет это ставкой на лидерство США в physical AI: возвращение глобального лидерства в производстве, ускорение производительности экономики и безопасность вместе с союзниками, по мнению компании, потребуют значительного роста инвестиций и в железо, и в софт.

Ключевой аргумент — интероперабельность: такого уровня открытости американских моделей для физических применений сейчас просто не существует. Открытые world models Runway рассматривает как накапливающееся преимущество, которое даёт разработчикам железа гибкость и контроль, которых у них сегодня нет.