«81,55 % за шесть минут»: AWS раскрыла устройство оптимизатора системных промптов в AgentCore

Что именно оптимизируется

Формально цепочка выглядит так: оптимизатор системных промптов берёт трейсы, записанные в AgentCore Observability, вместе с сигналом вознаграждения и выдаёт улучшенный системный промпт.

Дальше — по циклу: продакшен-трейсы превращаются в предложенные изменения конфигурации, изменения проверяются офлайн-батч-оценкой и онлайн A/B-тестом на живом трафике, а победители продвигаются дальше.

Публикация — техническое дополнение к анонсу: в предварительной версии AgentCore optimization доступны рекомендации, конфигурационные бандлы и A/B-тестирование. Рекомендации анализируют продакшен-трейсы и выводы оценки, чтобы оптимизировать системный промпт или описания инструментов под заданный evaluator.

В документации три возможности описаны так: рекомендации — сгенерированные ИИ улучшения системных промптов и описаний инструментов на основе реальных трейсов и целевого evaluator; конфигурационные бандлы — версионированные неизменяемые снимки конфигурации агента (системные промпты, идентификаторы моделей, описания инструментов), которые отвязывают поведение агента от кода; A/B-тестирование — управляемое разделение трафика между двумя вариантами через AgentCore Gateway с онлайн-оценкой каждой сессии и отчётом о статистической значимости.

Пока идёт preview, оптимизация нацелена на системные промпты и описания инструментов у агентов, развёрнутых на AgentCore Runtime и использующих AgentCore Observability и Evaluations.

Рефлектор и файловая система вместо усечения трейсов

Ядро системы — agentic reflector, «рассуждающий» компонент оптимизатора. Он просматривает оценённое поведение агента, находит закономерности, отличающие успешные запуски от провальных, и предлагает точечные изменения конфигурации.

Главная инженерная проблема очевидна: трейсы длинные, и даже несколько десятков легко переполняют контекстное окно модели.

Решение AWS — не усечение и не предварительное суммаризирование, а файловая система: полный корпус трейсов становится доступен рефлектору как каталог. Ему выдают shell-инструмент, указывают каталог и предлагают обновить конфигурацию агента, изучая картину успехов и неудач по трейсам.

Фиксированного конвейера извлечения сигнала или суммаризации трейсов в системе нет: что именно считать доказательством, решает сам рефлектор.

Два рефлектора: один проход и рой субагентов

Сегодня рекомендации системных промптов в AgentCore выдаёт Single Agent Reflector: один агент проходит весь набор трейсов за один проход.

Sub-Agent Reflector устроен иначе: он обменивает часть эффективности на более высокий потолок качества, запуская рой агентов, которые динамически исследуют разные части набора трейсов.

Разбор каждого трейса идёт на трёх уровнях. Surface — извлечь вознаграждение, сложность и исход. Turn level — найти точку решения, где траектория отклонилась от оптимального пути, разбирая rollout JSON командами вроде jq и grep. Cognitive — объяснить, почему агент ошибся именно в этой точке, и дать рефлексивную подсказку.

Затем оркестратор агрегирует выводы: обобщает повторяющиеся закономерности, убирает дубли и сводит результат в набор правок конфигурации.

Роевой вариант пока экспериментален: AWS выпустила его как предварительный релиз в открытом репозитории Strands на GitHub.

Ограничители: +20 % длины — отказ

До применения любое предложение обязано пройти платформенные guardrails, построенные на рубриках. AWS перечисляет и типичные способы дрейфа, от которых они защищают: промпты растут после оптимизации, начинают цитировать термины из трейсов как примеры, а ограничения безопасности ослабляются ради оценки.

Первый ограничитель задаёт потолок длины: кандидат, который увеличивает конфигурацию более чем на 20 % относительно предыдущей версии, отклоняется, и оптимизатору предлагают его сжать. Второй — проверка на соответствие стандартам безопасности перед продвижением. Третий запрещает дословные фразы из трейсов, чтобы кандидат не переобучался на поверхностные признаки обучающей выборки.

Цифры на AppWorld и WebShop

Оценки сравнивают рефлекторы с двумя известными оптимизаторами промптов — GEPA и MIPROv2 — на двух публичных бенчмарках: AppWorld и WebShop. Для каждого метода авторы перебрали пространство конфигураций и привели лучший результат с числом ходов и временем оптимизации.

Single Agent Reflector на AppWorld доходит до 81,55 % за 6 минут и 20 ходов: ускорение в 18 раз относительно GEPA и в 36 раз относительно MIPROv2 при сопоставимом или лучшем счёте. На WebShop тот же подход даёт 78,31 % за 5 ходов и одну минуту.

Sub-Agent Reflector на AppWorld показывает 95,83 % — на 23 пункта выше базовой линии и на 16 пунктов выше следующего лучшего метода. На WebShop — 79,15 %, то есть на 4 пункта выше базовой линии.

По бюджету вычислений AWS указывает: на AppWorld субагенты используют тот же лимит в 100 ходов, что и GEPA с MIPROv2, и завершают быстрее MIPROv2; на WebShop — около 20 минут, то есть меньше половины бюджета любого из бейзлайнов.

Конфигурация эксперимента тоже названа: в роли рефлектора — Opus 4.6, в роли решающей модели — Sonnet 4.5; число сэмплов варьировалось от 5 до 50, число эпох или итераций — от 1 до 10.

Что советует AWS

Практические рекомендации начинаются с малого: стартовать со скромного набора трейсов, потому что 10–50 разнообразных трейсов уже дают полезную точку отсчёта, а расширять набор стоит только если рекомендации выходят слишком узкими.

Дальше — не ограничиваться скалярным вознаграждением: рефлектор читает трейсы как файлы, поэтому наряду с оценкой в тот же файл можно положить свободный текст — обоснование evaluator, пометку человека или жалобу пользователя.

Ещё два совета: проверять и валидировать рекомендации перед продвижением в продакшен и анализировать трейсы независимо, чтобы охватить разные типы сбоев. Наконец, AWS предлагает расширить анализ за пределы системных промптов — на описания инструментов и переиспользуемые навыки — и начинать с управляемого процесса оптимизации.