Runway представила Solaris — интерфейс, который модель рисует во время работы

Не код интерфейса, а непрерывно генерируемый экран

Runway представила Solaris — первую модель из семейства Interface World Models. Вместо генерации HTML, CSS или другого промежуточного представления она синтезирует сам визуальный интерфейс кадр за кадром и меняет его по мере действий пользователя.

Отправной точкой служит изображение или визуальная сцена. Клики, перетаскивания и текстовые команды становятся conditioning signals для следующих кадров, поэтому значение одного действия может меняться вместе с контекстом: интерфейс не обязан повторять заранее реализованный набор экранов и переходов.

Это принципиально отличается от модели, которая пишет код для обычного приложения. У Solaris нет reference implementation, определяющей все допустимые состояния: language model решает, как должна развиваться сцена, а visual world model показывает это изменение.

Как video model превратили в интерактивный runtime

Solaris построена на основе Runway Gen-4.5, адаптированной для понимания взаимодействий и ответа в реальном времени. Разработчики научили модель генерировать кадры autoregressively, сократили многошаговый denoising до нескольких шагов с помощью distillation и обучили быструю модель на её собственных выходах для устойчивости длинной последовательности.

Reasoning и rendering разделены. LLM интерпретирует запрос, решает, должно ли действие изменить текущую сцену или перевести её в новое состояние, и формирует управляющие prompts; Solaris затем генерирует визуальный ответ по одному кадру.

Runway называет три инженерные цели: интерактивную скорость, coherence на протяжении сессии и визуальное качество 720p. В paper также отмечено, что задержка примерно после половины секунды уже перестаёт ощущаться интерактивной, но публичных данных о размере модели, throughput на конкретном hardware и стоимости сессии авторы не приводят.

Эксперимент с живой сценой вместо набора страниц

В демонстрациях пользователь переносит предметы в виртуальном магазине, меняет мебель и собирает салат прямым перетаскиванием. Solaris должна сохранять не только новое расположение объектов, но и поведение материалов, освещения и движения, чтобы сцена продолжала выглядеть связной после каждого шага.

Авторы предлагают и второй сценарий: обучение computer-use agents в постоянно меняющихся средах. Если layout и допустимые взаимодействия генерируются заново, агент не может полагаться только на расположение кнопок, выученное на одном сайте, и должен связывать действие с визуальным контекстом.

Однако эта возможность пока показана как исследовательское направление, а не как готовая среда с публичным API. Runway собирает заявки на early access и сообщает о работе с партнёрами над будущим публичным запуском, не называя дату общей доступности.

Авторская оценка показывает предпочтение, но не production reliability

В пользовательском исследовании 250 участников сравнивали Solaris и coded interfaces на 30 примерах, дав около 7 500 попарных оценок. В paper Solaris выбрали в 62% сравнений по следованию инструкции против 25% у coded result; по естественности поведения — в 72% против 21%.

На веб-странице Runway приведены немного другие округлённые значения: 61% против 24% для instruction following и 71% против 21% для natural behavior. Расхождение примерно в один percentage point не меняет направление результата, но показывает, что при точном цитировании нужно различать paper и announcement.

Это внутреннее сравнение авторов, основанное на pairwise preference, а не проверка надёжности приложения. Оно не измеряет корректность данных, keyboard navigation, повторяемость одного сценария, latency всей цепочки от действия до кадра или стоимость длительной сессии.

Главные ограничения находятся именно там, где начинается продукт

Runway прямо перечисляет четыре нерешённые области: стабильный читаемый текст, доверие к визуально убедительному результату, coherence долгих сессий и интеграцию с assistive technologies. Для коммерческого или учебного интерфейса правдоподобная, но неверная цена, инструкция или состояние опаснее явного отказа.

Стартовый кадр можно привязать к реальным изображениям товара и reference materials, но richer verified context во время сессии остаётся активной темой исследования. Отдельная проблема — accessibility: генерация картинки сама по себе не создаёт семантическую структуру, к которой автоматически подключатся screen readers и accessibility APIs.

Поэтому Solaris сейчас разумнее оценивать как новую модель взаимодействия и экспериментальную среду, а не как замену production frontend. Перед практическим применением нужны воспроизводимые тесты текста, grounded data, latency, стоимости, восстановления после ошибок и доступности — показатели, которых эффектная визуальная демонстрация не заменяет.