Amazon Bedrock добавил смысловой поиск по видео через Marengo 3.0

Мультимодальный embedding стал частью Managed Knowledge Bases

AWS объявила о general availability модели TwelveLabs Marengo Embed 3.0 в Amazon Bedrock Knowledge Bases. Она совместно кодирует video, audio, images и text в 512-dimensional vector space, позволяя искать медиаконтент запросом на естественном языке. Managed Knowledge Bases формируют единое векторное представление визуальных кадров, текста, речи и звуковых сигналов.

Marengo 3.0 лежит в основе Embed API и Search API TwelveLabs. Разработчик модели позиционирует релиз для multilingual archives, composed queries, hour-long video и специализированных областей вроде sports. В публикации TwelveLabs также подчёркивается размер embedding в 512 dimensions; сравнительные заявления о качестве и эффективности исходят от самого поставщика модели и требуют независимой проверки на данных конкретного проекта.

Практическое изменение для AWS-клиента состоит не в появлении ещё одного отдельного API, а во включении модели в управляемый ingestion и retrieval pipeline. Knowledge Bases берёт на себя storage, ingestion, embedding, re-ranking и retrieval; источниками могут служить Amazon S3, SharePoint и Confluence. AWS указывает поддержку MP4 и MOV для video, JPEG и PNG для images, а также audio tracks.

Загрузка не требует отдельной подготовки видео

В walkthrough AWS исходный десятиминутный фрагмент финала чемпионата мира 2022 года загружается в Amazon S3. После создания Managed KB и выбора TwelveLabs/Marengo Embed 3.0 сервис сам выполняет segmentation, frame sampling и transcription. По умолчанию длительность audio- и video-сегментов составляет четыре секунды, но её можно изменить в advanced configuration.

При синхронизации Knowledge Base извлекает кадры, расшифровывает звук, строит embedding каждого сегмента и записывает vectors в index. Это устраняет необходимость самостоятельно связывать transcription service, frame extraction, embedding model, vector database и временную синхронизацию. Однако точность результата всё равно зависит от качества исходной записи, выбранной длины сегмента и способности модели различать события, похожие визуально или акустически.

Для production-процесса автоматическую подготовку важно дополнить контролем жизненного цикла. Повторная загрузка изменённого файла, удаление старой версии и обновление metadata должны давать предсказуемый индекс без дубликатов. В анонсе показан основной happy path через console, но не приведены измерения времени ingestion, пределы размера коллекции или результаты на пользовательских доменах.

Поиск возвращает не только файл, но и временной отрезок

Тестовый запрос «show me the penalty kicks from this soccer match» возвращает ранжированные chunks. В metadata каждого результата AWS показывает start time, end time, source URI и embedding type, чтобы приложение могло извлечь соответствующий участок записи. Это принципиально полезнее ответа на уровне целого файла: пользователь получает место, которое можно немедленно открыть и проверить.

Для интеграции в приложение доступен Amazon Bedrock Retrieve API. AWS описывает поток от файлов в S3 через Managed Knowledge Bases к индексированию Marengo 3.0; далее запросы можно отправлять через Boto SDK Retrieve API или использовать knowledge base как target в Amazon Bedrock AgentCore Gateway. Retrieval возвращает кандидатов, а финальный интерфейс — player, цитату, фильтры или RAG-ответ — остаётся задачей приложения.

Временные границы создают удобную provenance, но сами по себе не доказывают смысловую точность совпадения. Для security footage, обучения или спортивной аналитики стоит измерять recall и precision на размеченном наборе запросов, проверять чувствительность к языку и шуму, а также показывать оператору исходный фрагмент. Генеративное резюме не должно подменять доступ к найденному evidence.

Доступность пока ограничена двумя регионами AWS

Managed Knowledge Bases с Marengo Embed 3.0 доступны в US East (N. Virginia), us-east-1, и US West (N. California), us-west-1. Для запуска нужны AWS account, включённый доступ к модели в поддерживаемом регионе, S3 bucket и IAM permissions для Bedrock и S3. Такое региональное ограничение важно учитывать для требований к размещению данных и задержке.

AWS сообщает, что в Managed Knowledge Bases клиент платит за хранение и retrieval, а создание embeddings через Marengo 3.0 тарифицируется по стандартной ставке Amazon Bedrock model invocation. Конкретных сумм анонс не приводит и отправляет к актуальной pricing documentation. Реальную стоимость нужно считать на собственном объёме медиа, частоте переиндексации, размере хранилища и числе запросов.

AWS предлагает сценарии для sports analytics, media archives, security, education и retail. Общий знаменатель — поиск момента по смыслу, а не только по filename или transcript keyword. Релиз сокращает инфраструктурный порог такого поиска, но не отменяет domain evaluation, IAM-аудит и правила хранения чувствительных записей: полностью managed pipeline отвечает за операции сервиса, а не за корректность бизнес-решения.