Runway переводит генерацию видео в потоковый autoregressive режим

Видео должно начинаться до завершения всего ролика

Runway описала исследовательский подход к real-time video generation, в котором главной метрикой становится time-to-first-frame, а следующие frames поступают потоком по мере вычисления. Современный типовой workflow компания противопоставляет этому как пакетную операцию: пользователь задаёт prompt, ждёт несколько секунд или минут и получает завершённый клип. Если результат не подходит, цикл начинается заново.

Потоковая модель меняет сам интерфейс творчества. Вместо серии независимых render пользователь потенциально получает непрерывную обратную связь и может направлять процесс, пока видео развивается. Runway считает, что сокращение ожидания одновременно уменьшает GPU time на output и расширяет круг экономически оправданных применений. Это позиция разработчика; публикация не приводит цены, сравнительной таблицы hardware или измеренной стоимости одного ролика.

Важно отличать направление исследований от готового product SLA. Runway не назвала конкретную model endpoint, дату публичного доступа, frame rate, resolution или P50/P90 latency. Анонс раскрывает архитектуру post-training и предполагаемые сценарии, но не доказывает, что качество, стабильность и стоимость уже достигли production-уровня при множестве одновременных пользователей.

Base model превращают в causal generator

Исходной точкой служит foundation model класса Gen-4.5. Runway post-trains её так, чтобы каждый autoregressive step зависел от initial first frame и caption, выбранных пользователем в начале. Все ранее сгенерированные latents остаются в context для сохранения связности, а video и audio decoders работают causally и выдают результат параллельно с появлением новых latents.

Первый этап компания называет teacher forcing. Архитектуру, изначально ориентированную на full-attention generation, переводят в temporally causal frame-by-frame режим. Задача здесь — сохранить сильные стороны base model, одновременно заставив её предсказывать продолжение последовательности без доступа к будущим frames. Сам causal conversion ещё не обеспечивает нужную скорость: flow matching по-прежнему требует многих denoising steps для каждого frame.

Этот компромисс принципиален. Full-attention model может согласовывать объект сразу по всей временной оси, тогда как autoregressive generator обязан жить с уже показанным прошлым и не может незаметно переписать ранний frame. Поэтому оценивать такую систему нужно не только по красоте короткого отрывка, но и по temporal consistency, синхронизации audio, реакции на управление и частоте необратимых ранних ошибок.

Distillation сокращает число шагов, но усиливает проблему drift

На втором этапе, student forcing, Runway применяет distribution matching distillation, чтобы свести создание каждого frame к нескольким steps. Процесс разделён на off-policy и on-policy стадии. В off-policy режиме student предсказывает следующее состояние по ground-truth context; frozen bidirectional teacher показывает целевое распределение, а critic сравнивает с ним текущие outputs student.

Off-policy обучение дешевле по памяти и времени шага, потому что model не выполняет собственные rollouts. Но в video domain этого недостаточно: небольшая ошибка одного frame попадает в context следующего и постепенно превращается в заметную morphing artifact. Runway подчёркивает отличие от текста, где model иногда способна исправиться следующими tokens; визуальная последовательность накапливает отклонение в самой изображаемой сцене.

Поэтому on-policy distillation воспроизводит условия inference уже во время training. Student autoregressively генерирует последовательность, и каждый созданный latent становится context следующего шага. Model учится видеть собственные ошибки вместо идеальной истории teacher и должна ослаблять drift, а не усиливать его. Это сближает training distribution с реальным streaming, хотя не гарантирует полного устранения накопительных artifacts.

Длину rollouts увеличивают постепенно

Runway сообщает, что curriculum с постепенно растущей sequence length работает лучше фиксированной длины. Если начать training сразу с длинных последовательностей, траектория student к концу резко расходится с teacher. Supervision тогда описывает состояние, уже не связанное с фактическим путём model, и training signal становится нестабильным и противоречивым.

Практический смысл curriculum — сначала научить model устойчиво продолжать короткий горизонт, а затем повышать дистанцию, на которой она должна жить со своими решениями. Для интерактивного видео длинный горизонт особенно важен: зритель замечает не только локальный шум, но и исчезающие предметы, изменение внешности персонажа, несогласованное движение и потерю цели через десятки секунд.

Публикация не раскрывает длины последовательностей, число training steps, состав dataset, размер teacher и student или используемые accelerators. Без этих параметров подход нельзя воспроизвести и нельзя отделить вклад causal conversion, distillation и curriculum. Это полезное архитектурное описание исследовательского пути, а не полный technical report с абляциями.

Inference становится непрерывной частью среды

В real-time режиме bottleneck переносится в inference: каждый frame должен покинуть model достаточно быстро для playback, пока hardware одновременно обслуживает другие sessions. Runway пишет, что сравнивает quality и latency разных checkpoints и hardware configurations собственными eval и observability tools. Публичных результатов этих сравнений в анонсе нет.

Компания связывает instant generation с education, gaming, robotics и simulation. Интерактивная среда должна отвечать человеку или физическому agent без паузы на полный render; для роботов и автономных автомобилей world model также должна немедленно воспроизводить последствия edge case. Это заявленная исследовательская гипотеза Runway, а не подтверждение deployment во всех перечисленных областях.

Следующая содержательная проверка должна показать end-to-end показатели: время до первого frame, устойчивый frame rate, resolution, длительность без drift, точность реакции на новый control input, число concurrent sessions и стоимость минуты. До появления таких данных главный результат публикации — ясный рецепт перехода от сильной batch video model к causal student, обученному на собственных rollouts.