Безопасность
Агентский ИИ нуждается в управляющей плоскости, а не только в лучших подсказках
По мере того как у агентов ИИ появляются инструменты и разрешения, управление смещается в сторону идентификации, механизмов политики, мониторинга и журналов аудита. Следующий рынок безопасности агентов может больше походить на облачную инфраструктуру, чем на разработку подсказок.
Автор: Лео В ·
Агентный ИИ нуждается в плоскость управления, а не только лучшие подсказки. Как только ИИ-система сможет вызывать инструменты, читать внутренние данные, принимать решения или запускать рабочие процессы, основной вопрос становится governance: кто агент, что он может делать и как мы докажем, что произошло?
Вот почему безопасность агентов начинает напоминать безопасность облака. Компаниям нужны идентификация, авторизация, обеспечение соблюдения политик, управление секретами, мониторинг выполнения и журналы аудита. Гигиена запросов по-прежнему имеет значение, но она не может нести всю модель рисков.
Агенты являются оперативными действующими лицами
Обычного чат-бота можно рассматривать как интерфейс. А агент ближе к операционному исполнителю. Он может отправлять сообщения, обновлять записи, создавать код, одобрять действия или координировать другие инструменты. Это делает агента частью предприятия. поверхность атаки.
Сложность в том, что агенты могут импровизировать. Традиционная безопасность приложений предполагает относительно предсказуемые пути выполнения кода. Агенты создают планы динамически, поэтому средства контроля должны оценивать намерения, контекст, область действия инструментов и последствия для последующих этапов в реальном времени.
От фильтров подсказок к политикам
Растущее количество исследований и инструментов сходится на архитектурах управления агентами, согласованных с такими рамками, как РМФ ИИ NIST. Направление ясное: политические механизмы, сервисы-сети, мониторинг поведения и механизмы подотчетности автономных систем.
Темы: агенты ИИ, управление, безопасность, плоскость управления