«Один кадр и одна строка текста на входе»: Black Forest Labs выложила открытую 7B-модель FLUX 3 Action

Что именно выложили

FLUX 3 Action — модель с открытыми весами: она принимает один или несколько кадров камеры и текстовую инструкцию, а на выходе выдаёт следующие две секунды действий. После дообучения на DROID модель занимает первое место в бенчмарке RoboLab-120 с успешностью 42,92% против 36,8% у 16B-политики Cosmos 3 Nano. Оба чекпойнта — для манипулятора SO-101 и для DROID — интегрированы в LeRobot.

В таблице RoboLab-120 из публикации соседние результаты такие: OASIS WAM — 39,0%, Phoenix — 34,4%, BiMind v0.1 — 33,3%, π0.5 — 28,0%, DreamZero — 25,7%, Cosmos3-Edge-Policy — 22,9%, π0-FAST — 15,5%, GR00T N1.6 — 7,2%, π0 — 5,0%, paligemma-binning — 3,4%. Типы моделей и доступность весов в таблице даны по данным самого лидерборда RoboLab. Веса выпущены под лицензией FLUX Kommunity License v1.0 в коллекции FLUX 3 Action, код лежит на github.com/black-forest-labs/flux-action.

Как устроена модель

FLUX 3 Action — диффузионный трансформер на 7B параметров, который предсказывает будущие кадры и действия вместе. Кадры кодирует замороженный video VAE, инструкцию — замороженный Qwen3-VL-4B. Действия идут вторым потоком токенов в той же последовательности: один токен на будущий кадр, со своей входной проекцией и выходной головой под каждый тип корпуса. Видео- и action-токены делят один уровень шума на сэмпл и денойзятся совместно.

На один вызов модель получает кадры камер, скомпонованные на холст под кодирование VAE (три камеры DROID в 544×736, две камеры SO-101 рядом или один игровой кадр 512×512), вектор состояния в собственном пространстве действий — позиции джойнтов для робота или последнее выполненное действие для игры, — и caption через текстовый энкодер. Возвращает она 32 действия и, опционально, 32 раскодированных кадра; на управлении декод пропускают, выполняют первые несколько действий, снова наблюдают и перепланируют.

Обучение шло на системах NVIDIA GB200 с кастомными ядрами, написанными на CuTe DSL от NVIDIA; совместно с NVIDIA делались и рецепты PEFT-дообучения, и развёртывание на периферии через NVIDIA Jetson.

Робот, который берёт предметы, которых не видел

Интеграция с LeRobot превращает FLUX 3 Action в класс политики, который обучают и запускают штатными инструментами LeRobot; собирали её вместе с NVIDIA и Hugging Face, и в комплекте идут рецепты parameter-efficient fine-tuning для адаптации под задачу. Политика в показанных примерах адаптирована примерно на 200 телеоперируемых эпизодах с несколькими родственными задачами pick-and-place, при этом предметы из последующих видео она брать никогда не училась.

Модель исправляет и собственные ошибки — в публикации это показано на примере с отвёрткой, — работает с контейнерами, которых не было в обучении (ноутбук, лежащий поверх контейнера, оставляет FLUX видимыми только 40% ёмкости), и продолжает работать при смене позиции камеры между обучением и запуском.

Игры вместо полигона: как проверяли дообучение

Проверять дообучение на роботе долго: оценка одного чекпойнта на железе занимает целый день, а демонстрации собирает человек-оператор. Поэтому авторы сделали два небольших игровых стенда. GRUNT — шутер в стиле Quake на 256×256 с четырьмя действиями (move, strafe, turn, fire), VECTOR — дорожная гонка в стиле Out Run с трафиком, маслом и гравием и тремя действиями (steer, throttle, nitro). Данные для обучения записаны со скриптового бота: 800 эпизодов на игру, и бот решает только по текущему кадру, так что всё, что он знает, видно и модели.

Результаты GRUNT: скриптовый бот — 13 убийств, 0 смертей и 96% попаданий, FLUX 3 Action — 15 убийств, 0 смертей и 86% попаданий, случайная игра — 8 убийств, 2 смерти и 13% попаданий. В VECTOR за 60 секунд бот проехал 3,4 км без аварий и с 16 обгонами, FLUX 3 Action (joint model) — 3,3 км, 1 авария и 12 обгонов, случайный «водитель» — 1,0 км, 3,6 аварии и ни одного обгона. В обеих таблицах фигурирует один и тот же набор весов, обученный на GRUNT и VECTOR вместе и определяющий игру по caption.

Дрон и симулятор

Ту же модель обучили управлению комнатным дроном: борт видит камеру 256×256 и выдаёт четыре величины — [forward, lateral, up, yaw]. Эпизоды записаны в NVIDIA Isaac Sim, где скриптовый пилот выполняет 800 полётов по фразам вроде «take off, fly under the table, and land behind the bookcase», а модель их имитирует. Авторы отдельно подчёркивают: Isaac Sim дал только набор для дообучения, сама FLUX 3 Action на симулированных данных не обучалась.

Проверяли результат в незнакомых комнатах и на незнакомых формулировках: диван, книжный шкаф, площадка и беспорядок меняются на каждом полёте, дрон взлетает в случайном направлении, поэтому «fly to the sofa» не может быть заученным курсом. Меняли и формулировку: учили на «fly to the bookcase», просят «go over to the bookshelf and wait there» — модель всё равно долетает.

Две разные цифры у одного вендора

Публикация на Hugging Face приводит в таблице RoboLab-120 одно число — 42,92%. Исследовательский отчёт самой Black Forest Labs на своей странице описывает результаты иначе: step-distilled чекпойнт даёт 38,3% ± 0,38 против 36,8% у Cosmos 3 Nano, а guidance-distilled поднимает лучший результат до 42,2% ± 0,36, при этом в FP8 базовый и guidance-distilled чекпойнты дают ускорение от 1,52x до 3,95x относительно Cosmos 3 Nano. Там же сказано, что модель обучена на крупном массиве видео, изображений и аудио с сильным акцентом на видео, а комбинация быстрого предсказания действий с планированием frontier-модели даёт до 53,64% больше успешных задач на доллар, при этом один reasoning-вызов добавляет около 35,77 секунды на секунду движения робота.

Mantis приводит обе формулировки: это разные чекпойнты и разные замеры одного вендора, а не противоречие между независимыми источниками. Ориентироваться стоит на лидерборд RoboLab, на который ссылаются обе публикации.

Что доступно

Веса лежат в коллекции FLUX 3 Action — базовая модель с общими энкодерами, политика SO-101 и политика DROID с вариантами оптимизации — под лицензией FLUX Kommunity License v1.0. Код и рецепты дообучения опубликованы в репозитории black-forest-labs/flux-action, интеграция с LeRobot описана в документации. Полный гид по дообучению с конфигом, модулем датасета и разбором подводных камней выложен в документации BFL, там же доступна страница с играми, форматом записи и циклом игры. Исходный датасет DROID, использованный для дообучения, опубликован отдельно.