Gemini сам решает, что смотреть: Google снижает стоимость анализа длинного видео

От просмотра каждого кадра — к поиску нужного момента

Google представила agentic video understanding — агентный режим анализа видео для Gemini 3.7 Flash, Gemini 3.6 Flash и Gemini 3.5 Flash-Lite. Он доступен для загруженных файлов и роликов YouTube через Gemini API в Google AI Studio и Gemini Enterprise Agent Platform. Главное изменение не в новом формате ответа, а в способе получения информации: модель больше не обязана заранее поглощать весь видеопоток с одинаковой детализацией.

Обычная, или «статическая», обработка выбирает кадры с фиксированной частотой — по умолчанию один кадр в секунду, хотя API позволяет изменить этот параметр. Такой подход предсказуем, но плохо соответствует содержанию: длинная неподвижная сцена получает столько же внимания, сколько мгновенный монтажный переход или короткая аномалия. В агентном режиме Gemini связывает рассуждение со встроенными видеоинструментами и сама ищет, сканирует и повторно изучает нужные интервалы.

Как устроен агентный цикл

Получив вопрос, Gemini определяет, что именно следует посмотреть, с какой скоростью и в какой модальности. Для одной задачи достаточно расшифровки речи, для другой важен звук, для третьей — серия кадров с повышенной частотой. Модель вызывает внутренний инструмент, загружает релевантную часть файла, оценивает результат и при необходимости возвращается к более узкому временному окну. Вместо тотального просмотра получается целевой цикл «найти — проверить — уточнить».

Разработчики могли строить похожие конвейеры и раньше: отдельно получать транскрипт, индексировать таймкоды, вырезать фрагменты и повторно отправлять их модели. Теперь эту маршрутизацию берёт на себя Gemini. Это важно не только для качества, но и для сложности продукта: прикладной команде не нужно вручную угадывать универсальную частоту кадров или поддерживать собственную логику повторного семплирования для каждого типа запроса.

88%, 66% и 7%: что именно измерила Google

По данным Google, на стандартных тестах видеоанализа агентный режим сокращает потребление токенов до 88%, уменьшает стоимость анализа до 66% и повышает точность до 7%. Это максимальные улучшения, а не обещание одинакового результата для любой записи. Компания также сообщает, что эффект распространяется на все три поддерживаемые модели, а Gemini 3.7 Flash показывает лучшее общее качество и лучшее сочетание точности и цены среди протестированных вариантов.

Наибольшая выгода ожидается на длинных материалах: от десятиминутных инструкций и полуторачасовых лекций до многочасовых записей. При статической обработке продолжительность почти напрямую увеличивает число выбранных кадров и входных токенов, вынуждая выбирать между расходами и потерей деталей. Агентный поиск меняет эту зависимость: большая часть видео может остаться на низком уровне детализации, пока модель не обнаружит участок, который действительно нужен для ответа.

Где динамическое внимание полезнее всего

Первый сценарий — поиск события длительностью меньше секунды. Частота в один кадр в секунду легко пропускает короткое изменение состояния или точную границу склейки, тогда как агент может сузить интервал и пересмотреть его плотнее. Это открывает путь к более точной автоматической разметке и монтажу. Второй сценарий — «иголка в стоге сена»: сложный вопрос по многочасовой записи, для которого не требуется превращать всё видео в миллионы токенов контекста.

Третий сценарий — обнаружение аномалий. Заметив подозрительный интервал, модель повышает частоту кадров и проверяет быстрое движение либо небольшой визуальный артефакт. Четвёртый — подсчёт повторяющихся действий и отдельных объектов во времени: Gemini может пересматривать сцену с разной частотой, а не делать вывод по редкой выборке. Google демонстрирует этот принцип на LongVideoBench, поиске скрытой детали в длинной записи и подсчёте быстрого физического движения.

Продолжение мультимодальной стратегии Gemini 3

Агентный режим развивает основу, которую Google описывала при запуске Gemini 3. Тогда компания делала акцент на мультимодальном рассуждении, контекстном окне в один миллион токенов и управлении детализацией обработки изображения через API. Для видео Gemini 3 Pro уже заявлялась как система, способная разбирать быстрые действия с высокой частотой кадров и находить подробности в многочасовых записях. Новая функция переносит контроль детализации с разработчика на саму модель в линейке Flash.

Это также продолжает общую идею агентности в Gemini 3. В инструментах разработки модель могла планировать работу и обращаться к терминалу, браузеру или редактору; при анализе видео инструментом становится управляемый доступ к самому медиапотоку. Но здесь важно не смешивать понимание с генерацией: функция не создаёт ролики. Она оптимизирует извлечение доказательств из существующего видео, его звука и транскрипта для ответа на конкретный запрос.

Доступность, цена и практические ограничения

В Gemini API режим включается параметром `processing: "agentic"` у видео во входных данных. Google связывает заявленную экономию с меньшим объёмом фактически обрабатываемого материала, однако в анонсе не приводит отдельную таблицу тарификации этого режима. Проверять её всё равно следует на собственных данных — с учётом длины файлов, типа вопросов, требуемой точности и доли запросов, которым нужен повторный просмотр.

Google планирует распространить улучшения на миллиарды пользователей своих продуктов: агентное понимание видео должно вскоре появиться в приложении Gemini для моделей Flash и Flash-Lite, а в последующие месяцы — стать основой функции Ask YouTube на странице просмотра. Для продуктовых команд ближайший практический шаг проще: сравнить статический и агентный режимы на одном наборе записей, измеряя не только счёт за токены, но и полноту ответов, точность таймкодов, задержку и устойчивость на быстрых сценах.