Reka свела текст, изображения, видео и действия робота в одну 19B-сеть: Rho-1 рисует, оживляет и объясняет без пайплайнов

Что представляет собой Rho-1

Rho-1 — 19-миллиардная модель, обученная с нуля и открытая как исследовательский предпросмотр. Внутри одного нейросетевого контекста она объединяет понимание и генерацию текста, изображений и видео, а также действия. Авторы называют архитектуру симметричной: вход и выход используют одни и те же форматы, поэтому всё, что модель сгенерировала, можно сразу же вернуть ей в контекст. Это принципиально иная схема, чем распространённая связка «языковая модель плюс отдельный генератор изображений плюс отдельная видео-модель».

Reka прямо позиционирует Rho-1 как попытку «схлопнуть» мультимодальный стек и видит в такой унификации предпосылку для физического AGI: то, что модель производит, — не разовый результат, а развивающееся состояние мира, которым можно управлять диалогом, в реальном времени или моторными политиками.

Как устроена одна сеть

Внутри каждого блока Transformer вычисления разделены между двумя потоками экспертных весов: поток понимания разбирает язык и визуальную информацию, а поток генерации превращает шум в изображения и видео. Важно, что потоки не изолированы: общий механизм внимания и общий кэш состояний (KV cache) позволяют токенам обоих потоков смотреть друг на друга, а инструкции пользователя, цепочки рассуждений, прошлые кадры и моторные политики накапливаются в одном контексте.

Каждый сигнал на входе и выходе относится к одному из двух форматов: дискретные токены кодируют текст, символьные рассуждения и высокоуровневые команды, а непрерывные — латенты изображений, видеокадры, действия робота и проприоцепцию. Модель оптимизируется сразу по двум целям: предсказание следующего токена для дискретных последовательностей и flow matching для непрерывной генерации изображений, видео и действий. По замыслу авторов, поскольку потоки делят общее пространство представлений, улучшения в одной области подтягивают другие: пространственные рассуждения из текстового обучения должны улучшать связность видео, а физическая динамика из траекторий робота — делать управление более обоснованным.

Пять ходов одной сессии

Демонстрация, которую приводит Reka, — одна непрерывная сессия из пяти ходов. Сначала пользователь просит нарисовать маяк в красно-белую полоску на скалистом мысе над морем — Rho-1 планирует кадр и рендерит изображение. Затем просит обвести маяк рамкой — модель выдаёт координаты как токены, опираясь на собственное состояние, без отдельной модели детекции. Дальше просит оживить картинку: дрон медленно летит к маяку — первый кадр видео берётся не из перекодированного изображения, а из оригинального представления в контексте, поэтому освещение, геометрия и узнаваемость объектов сохраняются.

На четвёртом ходу пользователь просит сделать из видео снежную бурю, сохранив маяк, дом и движение камеры, — и получает отредактированный клип. На пятом спрашивает, что изменилось между двумя видео, и модель отвечает, читая латентное состояние, которое породило изменение, а не подписывая экспортированные кадры постфактум. Всё это — один и тот же модель, один контекст и никаких вызовов инструментов или второй модели: по словам Reka, это не агентная система.

Скорость: 0,79× реального времени

Базовая версия Rho-1 генерирует видео на скорости 0,79× реального времени по медиане, а смотрибельный поток начинается примерно через 6 секунд. Для сравнения Reka приводит свой же первый клип: у многоагентного пайплайна (маршрут показан как иллюстративный) — 13,8 секунды, у Rho-1 — измеренные 7,0 секунды. Дистиллированный вариант сокращает траекторию денойзинга с 99 шагов до 8, почти не теряя в качестве, что выводит систему в интерактивный режим.

В собственных тестах Reka называет модель одной из самых быстрых в мире в каждой измеренной модальности: пятисекундный видеоклип она возвращает примерно за секунду — быстрее любого другого видео-генератора, который авторы замеряли. Она создаёт изображения так же быстро, как самые быстрые выделенные генераторы изображений, и быстрее всех протестированных моделей выдала первый токен текстового ответа. Демонстрация редактирования по подсказке при фиксированном зерне показывает, как Rho-1 Flash последовательно меняет собаку, добавляет шарф и ночное небо за 1,1–2,0 секунды на версию.

Мир как симуляция и действия робота

Генерация в реальном времени делает модель управляемой: Rho-1 выдаёт клип за клипом без разрыва, и новые инструкции могут приходить в любой момент, меняя состояние. Авторы показывают один непрерывный прогон с шаром на столе, где роборука по команде берёт красный шар, поднимает его, ставит обратно и отпускает. Другой пример — общий старт, который по сигналу «взять влево» и «взять вправо» расходится на два корректных продолжения.

Для робототехники Reka предлагает трактовать действия как непрерывные токены наравне с текстом и пикселями: тогда сеть, предсказывающая будущие наблюдения камеры, — это та же сеть, которая управляет приводами, без отдельного планировщика и внешней модели мира. На симуляционной задаче LIBERO модель выдаёт семь каналов действий, а чтобы обойти нехватку телеуправляемых данных, её можно объединить с собственной обратной моделью динамики (Inverse Dynamics Model), которая размечает действия по сырому интернет-видео.

Ограничения и цена эксперимента

Reka честно перечисляет слабые места Rho-1. На длинных горизонтах прогоны деградируют структурно раньше, чем визуально: 30-секундный поток может сохранять фотореалистичную текстуру и детализацию, но дрейфовать в структурно несовместимую планировку комнаты. Детекция объектов и координатная привязка надёжны на статичных изображениях, но пока не по видео; точечное редактирование остаётся нестабильным при разнообразных подсказках; нативное разрешение видео ограничено 672×384.

По масштабу это ранняя работа: результат получен на чекпоинте, обученном с нуля всего на 320 GPU H100 за три месяца — ничтожная доля вычислений современных фронтирных языковых и видео-моделей. Именно это, по мнению авторов, и есть главный вывод: они считают перечисленные сбои проблемами масштаба и ожидают, что с ростом вычислений и данных они сузятся, а выигрыш от единой архитектуры будет накапливаться, потому что каждый дополнительный FLOP идёт в одну модель, а не делится между языковой моделью, генератором изображений, видео-бэкбоном и политикой действий.