«Наблюдать, но не менять»: AWS показала, как довести инцидент до готовой правки с одним подтверждением

Диагноз без правки: зачем это понадобилось

Для организаций, которые держат прод-нагрузки на AWS, критично сокращать время между обнаружением инцидента, его расследованием и устранением. Когда что-то ломается, дежурному инженеру нужно быстро диагностировать проблему по компонентам приложения, определить корневую причину и применить исправление — часто посреди ночи.

AWS DevOps Agent — это AI-агент, который автономно разбирает инциденты весь день, опираясь на коррелированные метрики, логи и топологию приложения. Он закрывает первую часть задачи: даёт root cause analysis (RCA) и рекомендованные действия по устранению. Но чтобы сохранить контроль и не допустить непреднамеренных изменений, организации обычно держат такие наблюдающие агенты, включая DevOps Agent, в режиме «наблюдай и докладывай»: агент диагностирует, но не меняет прод-ресурсы напрямую.

Пробел, который закрывает новый материал AWS, — последний шаг: как превратить отчёт об инциденте в готовые к применению правки и не отдать при этом инфраструктуру на откуп агенту.

Как устроен конвейер

AWS предлагает собрать автоматизированный конвейер восстановления из AWS Lambda Durable Functions, Amazon EventBridge и Amazon Bedrock — в дополнение к DevOps Agent. Lambda Durable Functions — это возможность AWS Lambda, позволяющая строить устойчивые многошаговые приложения и AI-воркфлоу, которые могут работать до года без управления дополнительной инфраструктурой и без собственного кода для состояний и обработки ошибок: функции автоматически сохраняют контрольные точки, приостанавливают выполнение на время долгих задач и восстанавливаются после сбоев.

Запускает всё завершение расследования. Когда DevOps Agent доводит разбор инцидента до конца, он испускает событие с симптомами, находками и root cause analysis. Amazon EventBridge принимает это событие и вызывает функцию devops-agent-trigger, передавая ей содержимое расследования.

Дальше durable-функция работает как агентный цикл: она итеративно вызывает Amazon Bedrock, выполняет одобренные инструменты и возвращает результаты обратно в диалог, пока устранение не будет завершено.

Безопасность: allowlist и человеческое одобрение

Чтобы автоматические действия оставались безопасными и проверяемыми, оркестратор ограничивает набор инструментов заранее отобранным allowlist. Каждый инструмент — это отдельная Lambda-функция с узкой задачей, например чтение конфигурации Lambda-функции или обновление утверждения в политике AWS Identity and Access Management (IAM). Amazon Bedrock может выбирать и вызывать инструменты только из этого одобренного набора, что удерживает объём автоматических действий под контролем.

Ключевое разделение — между операциями чтения и изменяющими операциями. Инструменты только для чтения выполняются автономно, без участия человека. Изменяющие действия, которые затронули бы состояние инфраструктуры, заставляют durable-функцию приостановиться и ждать одобрения человека.

Именно здесь работает преимущество Lambda Durable Functions: функция сохраняет контрольную точку и встаёт на паузу на минуты, часы и даже дни, не потребляя вычислительные ресурсы, а затем продолжает ровно с того места, где остановилась, получив сигнал одобрения. К моменту, когда дежурный инженер подключается, система уже собрала релевантные конфигурации, связала корневую причину с доступными действиями и подготовила набор заранее проверенных изменений, готовых к одобрению в один клик. Текущая реализация использует сигнал «одобрить или отклонить»; поскольку callback принимает произвольный JSON, одобрение можно расширить параметрами или замечаниями ревьюера и вернуть их в диалог с Bedrock, чтобы уточнить предлагаемую правку до выполнения.

Демонстрация, AWS CDK и что в итоге

В демонстрации AWS моделирует частый сценарий: Lambda-функция превышает заданный таймаут. Это даёт DevOps Agent реальный инцидент для расследования: агент коррелирует метрики CloudWatch, логи и конфигурацию функции и определяет, что выставленного таймаута не хватает для нагрузки. Расследование занимает несколько минут, а по завершении публикует событие Investigation Completed в EventBridge — правило запускает функцию devops-agent-trigger, которая забирает сводку расследования из журнала DevOps Agent; в лог-группе /aws/lambda/devops-agent-trigger видно разобранную сводку с симптомами, корневыми и сопутствующими причинами и пробелами расследования, переданную в durable-функцию devops-agent-remediation-durable.

Разворачивается решение через AWS Cloud Development Kit (AWS CDK), который сам раздаёт IAM-права по принципу наименьших привилегий: EventBridge получает lambda:InvokeFunction для devops-agent-trigger, функции devops-agent-trigger выдаётся aidevops:ListJournalRecords для чтения сводок из журнала DevOps Agent, а devops-agent-remediation-durable — bedrock:InvokeModel.

Итог, по описанию AWS, такой: allowlist ограничивает Bedrock заранее одобренными инструментами, а человеческое одобрение не даёт непреднамеренным изменениям дойти до прода без явного согласия. Архитектура расширяется конфигурацией — чтобы добавить новые возможности устранения, достаточно обновить реестр инструментов, а не переписывать оркестратор. А поскольку durable-функции во время ожидания одобрения не потребляют вычислительные ресурсы, решение остаётся экономичным даже тогда, когда цикл согласования растягивается на часы или дни.