Runway показала GWM Worlds 2 для интерактивных миров в реальном времени

Мир продолжается после каждого нового действия

Runway представила GWM Worlds 2 — исследовательскую модель для интерактивной генерации аудиовизуальных окружений. Она выдаёт видео 720p при 24 кадрах в секунду и аудио с частотой 48 000 Гц, реагируя на ввод пользователя во время работы. В отличие от заранее рассчитанного ролика, сессия продолжается после каждого нового действия и не имеет установленной продолжительности.

Пользователь задаёт окружение, персонажей, визуальный стиль, физические правила и ambience, а затем управляет миром свободными текстовыми командами и непрерывным движением камеры. Действие можно адресовать конкретному субъекту или самой сцене: попросить героя взмахнуть мечом, изменить погоду, наполнить комнату водой или произнести реплику. Несколько событий способны идти одновременно.

Runway рассматривает систему как основу для interactive entertainment, virtual characters, robotics, симуляции embodied agents, generative design и новых интерфейсов. Это перечень предполагаемых направлений, а не заявление о готовом универсальном продукте. GWM Worlds 2 опубликована как research preview, и компания отдельно перечисляет ограничения качества, памяти и управления.

WorldPrompt разделяет постоянный контекст и поток событий

Для управления Runway разработала формат WorldPrompt. Его первый слой — persistent world context: genesis prompt с описанием пространства, материалов, освещения, фонового звука, участвующих субъектов и законов поведения, а также первый кадр, который визуально закрепляет генерацию. Законы могут задавать гравитацию, столкновения, способности персонажей и перспективу камеры.

Второй слой — timestamped event stream. Каждое событие содержит свободно сформулированное текстовое действие, время начала и окончания и адресата: отдельный subject либо всю сцену. Речь и звук представлены такими же действиями, как жест, перемещение или взаимодействие с предметом. Параллельно модель получает per-frame поток перемещения и вращения точки обзора.

Такое разделение решает две разные задачи. Persistent context удерживает то, что не должно переопределяться на каждом кадре, а временная лента описывает изменения. Runway сначала finetunes базовую audio-video generation model на WorldPrompt, чтобы та следовала структуре, а затем дополнительно преобразует её для авторегрессионной генерации в реальном времени.

Из bidirectional-модели сделали авторегрессионную

После finetuning исходная модель оставалась слишком медленной и bidirectional, поэтому не могла непрерывно продолжать уже созданную последовательность. Runway сообщает о post-training в real-time autoregressive model, которой и стала GWM Worlds 2. Авторегрессионный режим снимает ограничение фиксированной длины и позволяет генерировать мир неопределённо долго на уровне интерфейса.

На каждом AR step модель учитывает три вида контекста: global context из genesis prompt и первого кадра, ввод текущего кадра с camera input и активными текстовыми действиями, а также ранее сгенерированные кадры в sliding window. Video- и audio-decoders причинные и используют cache, чтобы ускорить декодирование.

Attention организован так, что каждый token видит global tokens, а video, text и audio текущего кадра причинно обращаются к себе и предыдущим кадрам в sliding KV-cache. Старые кадры из окна удаляются. Это объясняет одновременно непрерывность и одну из слабостей preview: модель не хранит полную историю сессии без ограничений, даже если сама генерация формально может продолжаться.

Один формат поддерживает сценарий, выборы и живое управление

Runway описывает три режима использования. В ahead-of-time варианте автор один раз составляет всю временную ленту, после чего модель генерирует видео и аудио; среди возможных применений названы кино и реклама. В turn-based режиме мир доходит до точки решения, пользователь выбирает действие, а LLM может перевести его в формат event stream.

Наиболее сложен real-time режим: генерация идёт постоянно, а команды должны быстро менять поток. Компания отмечает, что ручной набор текста слишком медленен, а даже VLM не всегда способен реагировать за десятки миллисекунд. В демонстрации повторяющиеся действия поэтому можно привязать к клавишам, чтобы игрок управлял субъектом без подготовки полного prompt на каждый шаг.

Модель поддерживает навигацию от первого и третьего лица, причём камеру и subject можно контролировать независимо. Один участник может играть персонажем, а другой — выступать режиссёром и менять сцену вокруг него. В multiplayer demo роли получают собственные наборы действий, а LiveKit передаёт сгенерированные видео и звук всем подключённым клиентам.

Мир может стать средой для агента

Отдельный эксперимент посвящён agentic control. Runway подключала агентов к управлению приключенцем, замком и водным мотоциклом, а также давала им цель внутри простого мира. В примере humanoid robot должен был добраться до красного или синего флага, выбирая только движения вперёд, назад, влево и вправо.

Компания предлагает использовать такие окружения для evaluation и training агентов в разнообразных ситуациях. Преимущество генеративной среды — возможность быстро менять сцену и условия, не создавая каждый вариант вручную. Но публикация показывает демонстрационные сценарии и не приводит benchmark, по которому можно было бы количественно сравнить качество обучения с физическим симулятором или традиционным игровым engine.

Для authoring собственных presets в demo используется LLM-помощник. По короткому описанию он генерирует первый кадр, черновик genesis prompt и набор действий субъектов, привязанных к клавишам; все элементы остаются редактируемыми до старта. Это сокращает путь от идеи до интерактивной сцены, не отменяя необходимость проверить автоматически предложенные правила и controls.

Research preview платит качеством за скорость

Runway прямо указывает, что real-time generation пока обменивает fidelity на скорость. Быстрые повороты камеры могут разрушать детали, textures и geometry. Long-term memory остаётся несовершенной, а дополнительные image references после первого кадра или предварительно загруженных video и audio модель не поддерживает.

Свободный текст делает control surface универсальным, но сложное применение может потребовать отдельного real-time harness, который отслеживает состояние мира и на лету формирует действия. В примере NPC такой внешний слой должен помнить контекст взаимодействия и создавать подходящие реплики, пока генеративная модель отвечает за аудиовизуальное продолжение.

Поэтому GWM Worlds 2 точнее воспринимать не как готовый игровой движок, а как демонстрацию новой временной границы world models. Модель одновременно формирует изображение и звук, принимает изменения во время сессии и допускает управление людьми или агентами. Её главный результат — рабочая схема непрерывного взаимодействия; главный нерешённый вопрос — сохранение качества и состояния на быстрых, длинных и насыщенных событиями траекториях.