«Точный, но необъяснимый»: AWS вынесла объяснимость агентов в отдельный слой оценки Amazon Bedrock AgentCore

Что предложила AWS

Amazon Bedrock AgentCore Evaluations — полностью управляемая возможность Amazon Bedrock AgentCore для оценки работы агентов и в разработке, и в продакшене, чтобы команды измеряли точность, успех задачи и поведение по нескольким измерениям качества.

По оценке AWS, традиционного подхода, который смотрит только на качество ответа модели, для агентных систем недостаточно: корректность здесь зависит от выбора инструментов, исполнения workflow и соблюдения бизнес-ограничений.

Оценки работают в паре с Amazon Bedrock Guardrails: оценка проверяет качество агента после исполнения, а Guardrails обеспечивают ограничения безопасности во время исполнения.

Три слоя оценки

Первый слой — встроенные оценки, не требующие настройки: Helpfulness как универсальный базовый уровень плюс второй, специфичный для каждого агента — Tool Selection Accuracy для оркестратора, Response Relevance для оптимизации и распределения, Instruction Following для маршрутизации и Faithfulness для аналитики.

Второй слой добавляет пользовательские оценки с бизнес-правилами: constraint satisfaction для оптимизации, data grounding для распределения, route feasibility для маршрутизации, SQL correctness для аналитики и plan coherence для оркестрации.

Третий слой — оценки объяснимости, которые применяются сквозным образом и измеряются отдельно от точности.

Шесть оценок объяснимости

Всего AWS определяет шесть независимых оценок объяснимости.

Decision rationale quality для всех агентов проверяет, объяснил ли агент, почему сделал рекомендацию.

Evidence attribution для аналитики, распределения и маршрутизации — сослался ли агент на поля данных, ответ API или результат SQL.

Constraint reasoning для оптимизации и маршрутизации — объяснил ли, какие ограничения повлияли на ответ.

Trade-off explanation для оптимизации, распределения и маршрутизации — объяснил ли компромиссы между стоимостью, уровнем сервиса и риском запасов.

Tool-use explainability для оркестратора — объяснил ли, почему вызван каждый субагент или MCP-инструмент.

Assumption disclosure для всех агентов — явно ли указаны допущения при неполных данных.

On-demand и online

Решение поддерживает два режима.

On-demand предназначен для бенчмаркинга в разработке, регрессионного тестирования и гейтов непрерывной интеграции и доставки.

Online — для непрерывного мониторинга продакшена и алертов.

Те же пользовательские оценки переиспользуются через объект OnlineEvaluationConfig со ссылками на ARN оценок и частотой семплирования, например 1–10 % продакшен-трейсов, и опциональными фильтрами сессий.

Сервис сам читает трейсы из AgentCore Observability, оценивает их и стримит результаты в дашборды и алерты Amazon CloudWatch.

Справочная архитектура

Пример построен вокруг вымышленной глобальной розничной сети AnyCompany Retail с частым дисбалансом запасов.

Система собрана на Strands Agents SDK, Amazon Bedrock AgentCore MCP Server и Amazon Bedrock AgentCore Evaluations: оркестратор и четыре специализированных субагента — оптимизация, распределение, маршрутизация и аналитика — каждый на AgentCore runtime с включёнными AgentCore memory и AgentCore Observability.

Оптимизационный агент вызывает MCP-инструменты поверх моков REST-интерфейсов Amazon API Gateway, агент распределения — API рекомендаций для ребалансировки запасов, агент маршрутизации — логистические API, а аналитик отвечает на диагностические вопросы о цепочке поставок.

Пользовательская оценка Constraint Satisfaction проверяет сразу три ограничения: бюджет, покрытие запасами и ёмкость склада.

Как отличать точное от объяснимого

AWS приводит конкретные примеры проверок.

Для Decision Rationale Quality — «Recommending 1,500 units because demand forecast is 1,200 and we target a 1.25× safety factor».

Для Constraint Reasoning — «Budget allows up to 1,800 units but warehouse capacity limits us to 1,600, so we recommend 1,500».

Практический смысл разделения в том, что высокая оценка соблюдения ограничений при низкой объяснимости означает верную логику решения и слабую коммуникацию, а высокая объяснимость при нарушенных ограничениях — хорошее объяснение неверной логики.

У каждого режима отказа свой путь исправления, и трёхслойная схема делает это различие измеримым.

Что дальше

Полный исходный код AWS выложила в репозитории образцов Amazon Bedrock AgentCore на GitHub.

Документация возможности доступна на отдельной странице Amazon Bedrock AgentCore Evaluations.

Оценки выполняются асинхронно: API сразу возвращает HTTP 202, а результаты сохраняются в S3 файлом EvaluationResults.md.

Для запуска нужны AWS CLI, AWS SAM CLI версии v1.100.0 и выше, Docker v20.x и выше, Node.js v18.x и выше и Python v3.11 и выше.