«Опишите, что вы хотите»: AWS добавила в coding-агентов навык aws-ai-ml для бенчмарка и подбора инстансов SageMaker

Навык вместо устной рекомендации

5 октября 2026 года AWS выпустила в блоге Machine Learning Blog разбор нового навыка aws-ai-ml, который распространяется через Agent Toolkit for AWS. Навык устанавливается в coding-агента — Kiro, Claude Code, Codex или любой агент с поддержкой Model Context Protocol — и даёт ему экспертизу в оптимизации и бенчмарке инференса на Amazon SageMaker AI.

Проблема, которую он закрывает, сформулирована прямо: поверхность SageMaker AI широка и глубока — real-time, batch и asynchronous режимы, on-demand и reserved capacity, разнородные инстансы, изоляция через VPC, автоматическое масштабирование, интеграция со всеми путями обучения, — но большинство инженеров приходят не с вопросом про семейство инстансов или контейнер, а с целью: уложиться в стоимость, попасть в перформанс-таргет или оценить модель до продакшена.

Порядок установки короткий: настроить Agent Toolkit (нужны AWS CLI 2.35+ и uv), добавить навык командой npx skills add aws/agent-toolkit-for-aws/skills/aws-ai-ml и спросить у агента, какие навыки доступны. Для Kiro и Claude Code предусмотрен и второй путь — динамический поиск навыков через AWS MCP Server без локальной установки, а внутри Amazon SageMaker Studio тот же навык доступен в образе для приватного JupyterLab-пространства.

Бенчмарк живого эндпоинта

Если модель уже развёрнута, агент генерирует ноутбук, который прогоняет нагрузочный тест через API Workload.synthetic() и start_benchmark() из SageMaker Python SDK. Перед запуском он отдельно подтверждает, что эндпоинт безопасно нагружать, потому что бенчмарк гонит реальный трафик на живую систему.

Отчёт получается количественный: пропускная способность в запросах в секунду и выходных токенах в секунду, задержки p50 и p99, время до первого токена, межтокенная задержка и число одновременных запросов, которое выдерживает эндпоинт. AWS подчёркивает, что это измеренные значения под реальной нагрузкой на реальной инфраструктуре, а не оценки, и что агент дополнительно предлагает механизмы ускорения вроде prefill decoding.

Подбор инстанса и сравнение прогонов

Второй сценарий — найти подходящий инстанс, не зная, откуда взялась модель: тонко настроенная модель в Amazon S3 (нужен S3 URI и цель оптимизации), публичная модель из каталога SageMaker JumpStart (нужен model ID) или модель на Hugging Face Hub. Для gated-моделей вроде вариантов Llama агент показывает условия лицензии и просит принять их и передать токен Hugging Face.

На выходе агент генерирует код, который прогоняет модель против инстансов-кандидатов и конфигураций, а затем выдаёт ранжированные варианты развёртывания с конкретными метриками: пропускной способностью, перцентилями задержки, временем до первого токена и параллелизмом. Отдельная возможность — сравнить два уже выполненных бенчмарка: агент считает дельты по ключевым метрикам и показывает процентные изменения там, где положительное значение означает улучшение.

Что показывают числа

В статье приведено сравнение двух развёрнутых моделей на одной нагрузке — 512 токенов на входе, 256 на выходе, параллелизм 4: Qwen3-1.7B против Qwen3-8B. Восемь-миллиардная модель дала +44,1 % по выходным токенам в секунду, +45,9 % по пропускной способности на пользователя и +46,7 % по запросам в секунду, межтокенная задержка снизилась с 20,9 мс до 14 мс, а задержка запроса — с 5 382 мс до 3 658 мс.

Единственная метрика, где выиграла меньшая модель, — время до первого токена: 67,5 мс против 166,3 мс. AWS прямо оговаривает, что модели работали на разном железе: Qwen3-8B на четырёх-GPU инстансе ml.g5.12xlarge с четырьмя A10G, а Qwen3-1.7B на одной L4 в ml.g6.4xlarge, поэтому дельты отражают примерно четырёхкратный объём вычислений, а не только разницу самих моделей.

Границы, поведение и уборка

Отдельный раздел посвящён тому, чего от агента ждать не стоит: он спрашивает недостающее вместо догадок, предупреждает о влиянии перед действиями с последствиями и объясняет, что делать, если запрос выходит за его рамки, — например, вместо развёртывания модели он сгенерирует конфигурацию для него. Разрешения нужны только на вызовы API SageMaker AI, потому что код исполняется под учётными данными пользователя, а дополнительная настройка IAM для самого навыка не требуется.

В конце AWS напоминает про уборку: удалить эндпоинты, созданные бенчмарком или рекомендациями, остановить или удалить JupyterLab-пространство и вычистить объекты, которые задания оставили в бакете SageMaker AI, — иначе они продолжают начислять плату.