«AI video co-director»: Google Research собрала мультиагентную систему, которая держит длинное видео связным

Что представила Google

Google Research опубликовала исследование об AI video co-director — унифицированном мультиагентном фреймворке, который, по формулировке авторов, автономно генерирует темпорально согласованные длинные видеоповествования и тем самым преодолевает дрейф идентичности и каскадные отказы, свойственные нынешним линейным ИИ-конвейерам. Авторы работы — Yale Song и Yiwen Song, Research Scientists в Google.

Система задумана как оркестрирующий слой: структурированные подсказки подаются напрямую в базовые модели Gemini и Veo, и за счёт этого все сгенерированные изображения, видео и звук наследуют встроенные механизмы безопасности, включая водяные знаки SynthID. Архитектура при этом остаётся model-agnostic — она может работать поверх любой базовой генеративной модели.

В публикацию вошли четыре связанных фреймворка: Co-Director, который должен появиться на конференции COLM 2026, CANVAS — на EMNLP 2026, а также A²RD и VQQA. Их препринты выложены на arXiv и доступны отдельно от блога.

Почему длинное видео разваливается

Большинство существующих агентных конвейеров автоматизируют процесс через цепочки модулей, но страдают от семантического дрейфа — незаметных сдвигов в одежде персонажа или в окружении между кадрами — и от каскадных отказов, когда артефакт промежуточного ассета портит итоговый синтез видео.

Причина — независимые подсказки, написанные вручную: ранние ошибки распространяются дальше и ломают согласованность на длинном горизонте, поэтому работа часто требует исчерпывающего ручного вмешательства. Структурно это классическая задача распределения заслуг (credit assignment): финальный сбой трудно проследить до конкретных подсказок.

Отдельно авторы называют дрейф признаков, при котором сущности и окружение меняются непреднамеренно, и коллапс контента, при котором повествование перестаёт содержательно развиваться.

Оркестратор, многорукий бандит и судья-модель

Первый агент — Orchestrator Agent — оценивает входы алгоритмом многорукого бандита (MAB) и выбирает креативную конфигурацию по трём измерениям: креативная стратегия (намерение), режим повествования (структура истории) и эстетический архетип (визуальный тон и операторская работа).

Дальше конфигурация ведёт производственную иерархию: Pre-Production Agent сводит сценарий по сценам и визуальные ассеты в единый сториборд, а Production Agent переводит его в медиа силами специализированных суб-агентов — Keyframe Agent закрепляет визуал персонажей и сцен, Video Agent добавляет движение, Audio Agent накладывает голос и музыку.

Замкнутость цикла обеспечивает мультимодальный LLM-судья: он критикует собранный монтаж по трём заданным измерениям и возвращает MAB факторизованный сигнал вознаграждения, чтобы та итеративно уточняла выбор креативной конфигурации от прохода к проходу.

CANVAS: раскадровка с постоянной визуальной памятью

Для планирования непрерывности в Google сделали CANVAS — Continuity-Aware Narratives via Visual Agentic Storyboarding, мультиагентный фреймворк, который явно планирует визуальную согласованность в многошотовых нарративах. Он поддерживает структурированные представления персонажей, локаций и состояний объектов по мере развития истории.

Такая явная модель состояния мира гарантирует, что персонажи сохраняют идентичность, а окружение — пространственную структуру, когда камера возвращается в ту же сцену. На примере сцены ограбления музея в блоге сравниваются CANVAS, прямая генерация базовой моделью Gemini-3.1-Pro и другой мультиагентный фреймворк AutoStudio: Gemini-3.1-Pro в одиночку даёт несогласованность реквизита и дрейф фона, показывая пределы необусловленной генерации.

В отдельной статье CANVAS заявлен как превосходящий лучший baseline: непрерывность фона улучшена на 21,6%, согласованность персонажей — на 9,6%, согласованность реквизита — на 7,6%. Оценка шла на двух бенчмарках раскадровки, ST-BENCH и ViStoryBench, а для проверки длинной согласованности авторы ввели новый HardContinuityBench.

A²RD: минуты видео сегмент за сегментом

Чтобы превратить сториборд в видео длиной в минуты, исследователи построили A²RD — агентную авторегрессионную архитектуру генерации видео, которая разводит креативный синтез и обеспечение согласованности. Каждый сегмент проходит цикл «извлечь — синтезировать — уточнить — обновить», а мультимодальная видеопамять отслеживает контекст и динамику сегментов.

Ключевая деталь — адаптивный выбор режима: агент плавно переключается между экстраполяцией, которая продвигает историю, и интерполяцией, которая привязывает сегменты к уже существующим сущностям и окружению.

Пока стандартные генераторы страдают от тяжёлого визуального распада, где персонажи мутируют, а локации меняют форму, A²RD постоянно обращается к видеопамяти, чтобы удерживать идентичность персонажей, детали костюмов и геометрию от первого кадра до последнего. На публичных бенчмарках и LVBench-C, охватывающих видео от одной до десяти минут, система опережает state-of-the-art baselines до 30% по согласованности и до 20% по связности повествования. В блоге приложен десятиминутный фильм, показывающий удержание строгой визуальной согласованности и развитие сюжета на непрерывной десятиминутной длительности.

VQQA: вопросы как семантические градиенты

Второй контур улучшения — VQQA, Video Quality Question Answering: унифицированный мультиагентный фреймворк, обобщаемый на разные модальности и задачи генерации видео. Он динамически формирует визуальные вопросы под конкретный промпт и использует критику Vision-Language Model как семантические градиенты — направленную обратную связь на естественном языке, аналогичную числовым градиентам в обратном распространении.

На практике VQQA работает как чёрно-ящичный оптимизатор подсказки, а не как редактор пикселей: он итеративно уточняет текстовый промпт, чтобы исправить ошибки связывания атрибутов и несогласованность персонажей, а генератор по обновлённому промпту выбирает новую траекторию в своём латентном пространстве.

Чтобы локальные правки не разрушили общий замысел, работает механизм Global Selection: вместо слепого взятия последней итерации глобальный VLM-оценщик сравнивает все сгенерированные видео траектории оптимизации с исходным неизменённым промптом и выбирает лучший результат. В своей статье метод даёт абсолютный прирост +11,57% на T2V-CompBench и +8,43% на VBench2 относительно базовой генерации.

Что показали бенчмарки

Для оценки построили три специализированных набора. GenAD-Bench собирает через human-in-the-loop конвейер 50 вымышленных брендов по четыре продукта в каждом на базе Gemini 3 Pro со специализированными графическими моделями и проверяет 400 уникальных сценариев на точность маркетинговых ограничений. Набор намеренно не опирается на конфликты авторских прав и обучающие приоры.

HardContinuityBench создан на многошотовых сторибордах GPT-5.2 и проверяет пространственную и средовую непрерывность: большие разрывы между повторными появлениями сцен, частые смены костюмов и аксессуаров и сложные изменения состояний интерактивного реквизита.

LVBench-C содержит 120 текстовых сценариев, сгруппированных в эволюцию состояний персонажей, изменение свойств объектов и прогрессивное раскрытие окружения. Правило строгое: критичные визуальные ассеты должны исчезнуть минимум на десять сегментов, прежде чем вернуться с реалистичными, обусловленными сюжетом изменениями.

По этим измерениям AI video co-director достигает пиковой оценки качества 81,4 на GenAD-Bench и улучшенной согласованности истории на ViStoryBench; CANVAS снижает дрейф сцен на ST-Bench и HardContinuityBench; A²RD уменьшает дрейф компоновки на VBench-Long и LVBench-C; VQQA даёт заметный абсолютный прирост качества на T2V-CompBench, VBench2 и VBench-I2V.

Чего Google пока не обещает

Авторы называют свои фреймворки фундаментальным шагом к связному длинному визуальному повествованию и говорят, что продолжают изучать интеграцию human-in-the-loop-процессов. Конечная цель сформулирована прямо: не заменить человеческое рассказывание историй, а освободить создателей от рутинной сложности поддержания темпоральной согласованности и отслеживания состояния мира, оставив им контроль над творческим направлением и драматургией.

Отдельно авторы благодарят более широкие исследовательские команды Google, а не только непосредственных участников работы. Сроков появления этих фреймворков в продуктах Google публикация не содержит: речь идёт об исследовании, и два фреймворка из четырёх пока указаны как принятые на конференции.