«Уместность, а не секретность»: Google Research выпустила отчёт о приватности и безопасности ИИ-агентов

Полезность агента и есть его риск

Агент становится полезным только тогда, когда получает доступ к личным данным и право на значимые действия в самых разных контекстах; по мнению авторов отчёта, именно это сочетание требует принципиально иных подходов, чем традиционное детерминированное программное обеспечение. Google Research выделяет три отличия агентов. Первое — неструктурированные интерфейсы и неоднозначность входа: агент разбирает инструкции в виде естественного языка и изображений, из-за чего трудно определить «ожидаемое поведение» и защититься от состязательных манипуляций вроде промпт-инъекций. Второе — вероятностные потоки управления: генеративное планирование даёт пути исполнения, которые не покрываются привычными методами тестирования. Третье — автономия и делегирование: чем длиннее задача и чем больше подзадач агент передаёт другим агентам, тем слабее работает традиционный надзор пользователя и тем выше риск «усталости от подтверждений».

Контекстный взгляд: теория Contextual Integrity

Отчёт опирается на теорию Contextual Integrity: приватность в ней определяется не как секретность или контроль, а как «уместный поток информации» согласно устоявшимся и оправданным социальным нормам. Конкретная информационная норма задаётся тремя элементами — акторами (кто передаёт информацию и о ком), типами информации (например, медицинские или финансовые записи) и принципами передачи (правила вроде конфиденциальности или взаимности). Авторы приводят бытовой пример: список подарков человек готов отдать виртуальному помощнику по покупкам, но не семье и друзьям.

Дальше отчёт распространяет этот подход с информационных потоков на «контекстную безопасность» — то есть на уместность самих действий агента. Идея в том, чтобы система оценивала социальную и контекстную уместность действия до его выполнения.

Движок контекстных политик в слое супервизора

Ключевая техническая ставка отчёта — движок контекстных политик (contextual policy engine) как часть слоя супервизора, который следит за уместностью действий. По мнению авторов, языковые модели впервые позволяют строить машиночитаемые политики, действительно зависящие от контекста, и тем самым закрыть исторический разрыв между высокоуровневыми нормами и низкоуровневыми системными разрешениями.

Пример: просьба «защищай мои данные, пока я организую поездку на конференцию» требует конкретных указаний, что уместно раскрывать при бронировании билетов, оформлении визы и переписке с организаторами. Ручные разрешения и политики, написанные экспертами, не масштабируются на будущее, где агенты автономно выполняют множество длительных задач. Поэтому отчёт предлагает дополнить работу над моделями и интерфейсами динамическим циклом генерации политик: он настраивает правила под конкретный запрос и открытый контекст — включая инструменты, обнаруженные уже во время исполнения, — и проверяет уместность запрошенного потока данных до того, как информация покидает рабочее пространство пользователя.

Многослойная защита

Отчёт перечисляет направления работы по всему стеку. На уровне системы — песочницы, которые динамически ограничивают возможности агента, устанавливают его идентичность и выдают или отзывают доступ к данным при смене контекста. На уровне модели — способность распознавать недоопределённые запросы и рассуждать об уместности при меняющихся нормах. На уровне пользователя — отход от традиционной схемы «уведомление и выбор», предполагающей предсказуемость действий, к динамичным, контекстным и персонализированным механизмам контроля. Отдельно выделены взаимодействия нескольких агентов: нужны ограничители, не дающие агентам сговариваться в нарушение контекстных норм. И наконец, управление экосистемой: механизмы сбора общих норм, разрешения конфликтов между ними, переговоров об изменениях и проверки соблюдения.

Как это измерять

Авторы предлагают развивать оценки безопасности под автономные многоагентные системы: стандартизированные бенчмарки и динамические среды класса «Agent Gym», где исследователи могут безопасно моделировать длительные каскадные взаимодействия. Открытые песочницы, по замыслу, дадут общую базу приватности, безопасности и надёжности для академии и индустрии.

Призыв к действию

Отчёт — результат семинара Google Contextual Agent Privacy and Security (CAPS), прошедшего в конце 2025 года в Нью-Йорке и собравшего более 50 представителей академии и индустрии. Авторы публикации — исследователь Google Research Юджин Багдасарян (Eugene Bagdasarian) и главный научный сотрудник Марко Грутезер (Marco Gruteser); в благодарностях названы Лиллиан Цай как со-основной автор и Сара де Хаас за координацию работы над отчётом и текстом блога. Технический отчёт доступен в библиотеке публикаций Google Research.

По формулировке авторов, безопасная и вызывающая доверие агентная экосистема — задача слишком большая для одной дисциплины, организации или отрасли, поэтому отчёт задуман как приглашение к сотрудничеству для академии, государства, гражданского общества и индустрии.