«Оценка не отвечает на вопрос, что менять дальше»: Kantar и Microsoft собрали агентную петлю вокруг LINK AI

Тридцать лет метрик и разрыв в один шаг

Kantar больше тридцати лет отвечает брендам на вопрос, сработает ли реклама. До эпохи ИИ это означало набирать потребителей, показывать им материал, проводить фокус-группы и интерпретировать ответы. За 35 лет такой работы накопилась база LINK — 35 млн потребительских взаимодействий — и тестовая база из более чем 260 000 рекламных материалов.

На этих данных вырос LINK AI: ансамбль ML-моделей, который превращает накопленные метрики в предсказательный скоринг. Ролик получает оценки за минуты вместо долгого опроса, и именно этим сервисом значительная часть клиентов Kantar пользуется, чтобы понять, работает ли креатив.

Ограничение оказалось ровно в одном шаге: скоринг говорил, как актив оценён, но не говорил, что в нём менять. Microsoft Frontier Company и его студия Forward Deployed Engineers вместе с Kantar достроили недостающую половину и оформили её в продукт Kantar LINK AI Content Optimizer. Про этот разрыв в публикации есть прямая цитата главного научного сотрудника Kantar по ИИ Ашока Калидаса: быть доверенным поставщиком оценки контента недостаточно, потому что это не отвечает на вопрос, что делать с оценкой дальше.

Рубрики становятся грейдерами, скоринг — петлёй

Метрики Kantar переложили в рубрики: они описывают, что значит хорошая реклама, по измерениям, которые задаёт сам пользователь на основе исходных метрик Kantar. Оценки LINK AI раскладываются по этим измерениям и работают как грейдеры, то есть как проверяющие правила, а не как одна итоговая цифра.

Ключевая единица системы — не отчёт, а цикл: score, recommend, generate, re-evaluate. Рассуждающий агент анализирует ролик, применяет рубрики Kantar, выдаёт точечные рекомендации и генерирует новую версию актива, которую те же грейдеры оценивают заново.

Во внешнюю петлю вложены внутренние: отдельно оптимизируются сами грейдеры, инструменты понимания контента, логика рекомендаций, варианты генерации, оркестрация и процедура оценки. Обучение идёт по трём шагам: агента прогоняют на наборах оценочных входов и собирают трейсы, трейсы оценивает LINK AI с проверкой людьми-экспертами, после чего в агента вносят изменения и повторяют, пока оценки не станут приемлемыми.

Чтобы сигнал стал пригодным для правок, вывод LINK AI упростили до шести ключевых измерений, а оценку спустили с целого ролика на отдельные сцены и изображения. Разница не косметическая: улучшение на шесть секунд внутри 30-секундного видео в общей оценке размывается, а оценка конкретной сцены показывает его без потерь — и рекомендация, и последующая проверка опираются на более узкий сигнал.

Агент и навыки вокруг чужого IP

Внутри внешней петли работает рассуждающий агент: он решает, какие возможности вызвать и в каком порядке, и переносит дальше историю и результаты предыдущих шагов. Это лишь одна из поверхностей настройки — рядом с грейдерами LINK AI, инструментами анализа контента, генерацией и оценками.

Знания Kantar упакованы в навыки — версионируемые компоненты с инструкциями, процедурами, ресурсами и вызовами инструментов. Смысл не в изоляции контекста, а в модульности, переиспользовании и управляемости: полный метод не растворяется в общих инструкциях агента, а живёт отдельным блоком.

В публикации отдельно оговорено, что при усилении требований к изоляции ту же схему придётся достраивать субагентами, контролем доступа или отдельными средами выполнения. Иными словами, решать, как упаковывать чужое знание и кто им управляет, нужно до того, как навыков станет много.

Восемь раз медленнее и 80% отказов

LINK AI — ансамбль скоринговых пайплайнов из открытых моделей, собственных моделей Kantar и LLM. Пока инференс не оптимизировали, то же железо работало примерно в восемь раз медленнее, чем могло: перенос модели эмбеддингов, упиравшейся в GPU, с FastAPI на vLLM снял зависимость от GPU сразу в нескольких сервисах.

Дальше команда стандартизировала ML-сервисы единым шаблоном: манифест, типовые эндпоинты, чек-лист и smoke-тест. Единая телеметрия на всё хозяйство и общий шаблон сократили выпуск нового сервиса с недель до часов — и позволили делать это силами команды вместе с её кодинг-агентами.

Оркестрацию двадцати ML-сервисов, на которых держится LINK AI, переписали на Dapr Workflow с вспомогательными шаблонами, так что новый шаг встаёт в пайплайн за часы, а не за недели. Вычисления идут в Azure Kubernetes Service, наблюдаемость — через OpenTelemetry и Azure Monitor, конфигурация и секреты — в Azure App Configuration и Key Vault.

Масштаб оказался не проектной, а настроечной задачей. Первый нагрузочный тест провалил около 80% запросов; приоритизированные очереди и продвинутые паттерны обмена через компоненты Dapr Workflow подняли долю успешных до 95% на тысячах запросов. Задержку снижали с примерно 15 минут на один ролик: цель — минуты на актив и часы на большие пакеты, что и делает повторную оценку сцен, видео и сгенерированных вариантов рабочей практикой.

Технический директор Kantar Марк Тёрнер описывает результат так: платформу пересобрали на Azure Kubernetes Service с событийными workflow, автомасштабированием и широкой наблюдаемостью, и то, что раньше занимало часы, теперь занимает минуты. Калидас добавляет измеримый пример: для одного крупного клиента из потребительских товаров систему прогнали через десятки тысяч роликов за часы, что в его контексте почти реальное время.

Оценки, которые не отдают на откуп модели

Kantar подчёркивает, что строгость к оценкам — не формальность: доверие клиентов требует понимать, обоснованы ли выводы, воспроизводимы ли результаты и прослеживаемо ли происхождение частей вывода. По словам Калидаса, проверка идёт по четырём измерениям: точность, согласованность, прослеживаемость и функциональные бенчмарки вроде стоимости, задержки и безопасности.

У рекомендаций есть отдельная проблема: хорошо обоснованная рекомендация может оказаться бесполезной, а сгенерированный вариант — неверно передавать нужное изменение. Итоговая оценка актива такие провалы не выявляет, поэтому рамку оценки построили по стадиям выпуска продукта, соединив автоматические метрики с раундами экспертных проверок.

Экспертная оценка дорога и требует собственного инструментария, а автоматическая хорошо масштабируется, но дрейфует. Поэтому в системе работают оба контура: LLM-судья читает комментарии экспертов, а экспертная разметка используется, чтобы калибровать и уточнять автоматических судей.

Выводы команды звучат как правила проектирования. Рубрики нужно писать первыми и превращать их в грейдеры, причём уровней почти наверняка понадобится несколько: оценка целого актива находит место, оценка компонента говорит, что менять. Оценивать надо быстро, потому что при медленном шаге нет петли, есть только отчёт. Оптимизатор нужно оценивать отдельно от актива, под экспертные оценки — закладывать бюджет и инструменты, а телеметрию вести по всему контуру, иначе экспериментировать будет не на чем.

Что остаётся за рамками

Публикация Microsoft — рассказ исполнителя о работе с клиентом, и метрик влияния на бизнес в ней нет: измеримых доказательств, что оптимизированные ролики лучше работают в реальных кампаниях, текст не приводит. Нет также публичного API, цен и обязательств по срокам.

При этом продукт — не обещание на будущее: Kantar уже описывает LINK AI content optimiser как рабочий сервис, который соединяет прогнозную оценку и оптимизацию контента в одном процессе, чтобы тестировать больше и улучшать креатив на масштабе. Ставка Microsoft и Kantar сформулирована в самом тексте: одинаковую базовую модель и похожую инфраструктуру может взять любой конкурент, а вот скоринговую систему на десятилетиях собственных данных, с откалиброванными людьми грейдерами и процессом экспериментов воспроизвести трудно.