«Каждый объект восстанавливается один раз как канонический меш»: Stability AI показала 4Director — видео-модель, которой управляет жёсткая 3D-геометрия

Задача: точное движение камеры и объектов

Точный контроль над движением камеры и объектов Stability AI называет обязательным условием профессионального производства видео. Проблема в том, что существующие методы управляют объектами грубо: либо через подсказки в плоскости изображения, где глубина и поворот неоднозначны, либо через 3D-треки и «блобы», у которых нет полной геометрии и которые теряют согласованность при смене точки обзора.

4Director — это видео-модель («world model»), которая вместо таких сигналов получает на вход явное 4D-представление сцены. Каждый объект один раз восстанавливается по входному изображению как канонический меш и затем перемещается одним заданным жёстким преобразованием на кадр.

Как это работает

Такое представление, по замыслу авторов, даёт интуитивный 3D-интерфейс управления и не позволяет модели заново придумывать невидимую геометрию в каждом кадре. В одной системе координат сходятся три вещи: канонические меши объектов, облако точек фона и камера; в ней пользователь и задаёт траекторию каждого объекта и камеры, после чего сцена рендерится в depth-видео.

Дальше в дело вступает Motion Adapter — обучаемая ветвь, которая встраивает этот жёсткий рендер в предобученный видеогенератор, а тот отвечает за внешний вид, освещение и нежёсткую динамику. Обучается адаптер на наборе RealCOD-Rigid.

В демонстрационном сценарии изображение поднимается в облако точек фона и полную жёсткую 3D-геометрию каждого объекта, пользователь рисует траектории объекта и камеры и, при желании, добавляет новый объект по референсному изображению; результат — видео, которое следует обеим траекториям, с правдоподобным движением объекта, согласованными внешним видом и освещением и заполненным фоном, который открывает камера.

Данные и измерения

Для обучения авторы собрали RealCOD-Rigid — новый набор из 20 774 клипов, размеченных жёсткими 3D-сценами их автоматическим конвейером. Разметка устроена так: по каждому клипу оцениваются маски объектов, глубина и траектория камеры, что даёт динамическое 4D-облако точек сцены; канонический меш каждого объекта восстанавливается по первому кадру и отслеживается как жёсткое тело, что даёт по одному жёсткому преобразованию на кадр; рендер этого построения в depth-видео и служит управляющим сигналом, а исходный клип — целью обучения, где текстовое описание используется как промпт.

Чтобы сравнивать сигналы управления честно, в работе сопоставляют четыре варианта: 2D-рамку, 3D-гауссов «блоб», 3D-траектории точек и собственную жёсткую 3D-геометрию. Для оценки авторы ввели Identity-Gated IoU (IG-IoU): судья на основе vision-языковой модели решает, тот ли это ещё объект, и валидный кадр приносит свой mask IoU, а невалидный — ноль.

В количественном сравнении участвуют визуальное качество и соответствие тексту (FID, FVD, CLIP-SIM), контроль камеры (RotErr, TransErr) и контроль объекта (recognition rate, IG-IoU).

Что заявляют результаты

Итог, который формулируют сами авторы: в экспериментах 4Director стабильно превосходит предыдущие методы и по визуальному качеству, и по управлению камерой и объектами. Именно на стыке двух задач — удержать заданное движение и не потерять сам объект — и построена метрика IG-IoU.

Рамка

Это анонс собственного исследования Stability AI: приведённые результаты — заявление авторов и их метрики, независимой проверки со стороны у них нет, а сравнение с предыдущими методами сделано на наборах и метриках, выбранных самими авторами.

Отчёт подписали Вэй Цао (Wei Cao), Хао Чжан (Hao Zhang), Викрам Волетти (Vikram Voleti), Юйцюнь У (Yuqun Wu), Малликарджун Б. Р. (Mallikarjun B R), Шимон Вайнер (Shimon Vainer), Марк Босс (Mark Boss) и Яояо Лю (Yaoyao Liu). Технический отчёт подан на arXiv 1 октября 2026 года, страница исследования на сайте Stability AI датирована 7 октября 2026 года.