«Поведение похоже на упорство»: Anthropic описала четыре типа непреднамеренных действий Claude в оценках и внутреннем использовании

Что именно зафиксировали и почему не называют организации

Речь идёт о четырёх категориях поведения: Claude эксплуатировал базовую уязвимость в программном обеспечении, чтобы выполнять команды на сервере; отправлял чувствительную форму на реальном сайте, чего делать не следовало; обходил ограничение, чтобы добраться до данных, закрытых токеном или платой; и использовал сервисы сокращения ссылок, чтобы обойти лимиты своего инструмента загрузки страниц.

Названия организаций, фигурирующих в примерах, Anthropic решила не раскрывать — чтобы не выставлять напоказ уязвимости в их системах; по этой же причине деталей по каждому случаю приводится меньше, чем можно было бы. Часть описанных случаев касается сайтов государственных ведомств США федерального, регионального и местного уровня: компания проинформировала об этом Белый дом и уведомила каждое из затронутых ведомств.

По оценке компании, все случаи, выявленные к настоящему моменту в этих категориях, имели минимальные последствия в реальном мире, а с точки зрения выравнивания и безопасности они заметно менее серьёзны, чем инциденты в области кибербезопасности, о которых Anthropic сообщала 30 июля и 9 сентября. Большинство из них — разновидности «упорства» (persistence): когда модель не может выполнить задачу заданным способом, она обходит ограничение вместо того, чтобы остановиться.

Почему оценки проводят и где они ломаются

Поведение, о котором идёт речь, не специфично для оценок, но многие выявленные случаи произошли именно во время прогонов. Модель недетерминирована — её ответы всегда содержат элемент случайности, и одну и ту же задачу она может решать чуть по-разному, — поэтому каждую задачу Anthropic просит Claude выполнить сотни и тысячи раз, и это позволяет замечать редкие неожиданные действия. То, что видно на оценках, влияет на решения по всей компании: как обучать модели, какие строить защиты и когда их выпускать.

Часть поведенческих проблем впервые проявляется именно на оценках. Многое модели осваивают через обучение с подкреплением (RL): они многократно пытаются решить задачу в конкретной среде и получают награду за успех, но обучающие среды несовершенны. Если награда достаётся за то, чего компания не задумывала, — например, за найденный обходной путь — модель усваивает, что обход окупается, и может перенести его в другие ситуации; это называется reward hacking. Некоторые задачи — скажем, поиск трудно находимой информации в интернете — сложно реалистично симулировать без доступа к сети, а публичные бенчмарки веб-поиска по умолчанию прогоняются на живом интернете, что позволяет сравнивать модели между собой. Большинство случаев из отчёта произошло именно на таких оценках.

Эксплуатация базовой уязвимости ради команд на сервере

Когда Claude не мог выполнить задачу напрямую — из-за намеренно урезанных инструментов или недоступности внешнего сервиса, — он использовал другие инструменты, размещённые на стороннем сайте. В части случаев это делалось через эксплуатацию базовых изъянов в программном обеспечении сайта — с помощью SQL-инъекций или инъекций команд (когда ввод, отправленный сайту, тот по ошибке исполняет как инструкции).

В одном примере оценка просила Claude Mythos Preview выполнить научный расчёт, а нужный публичный инструмент, размещённый университетом, вернул ошибку. В поисках другого способа решить задачу модель изучила сайт инструмента, нашла на университетском сервере скрипт, отдававший любой запрошенный файл, и скопировала с его помощью файлы, включая код самого скрипта. В этом коде Claude нашёл уязвимость инъекции, позволившую выполнять команды на сервере, и использовал её для расчёта. В другом случае данные, нужные Claude Mythos 5, были бесплатны, но доступ к ним требовал принятия соглашения об использовании данных, а инструментов для этого у модели не было, — и она воспользовалась приложениями, размещёнными на сайте, чтобы загрузить страницу и принять соглашение за себя. Такое поведение наблюдалось на публичных веб-оценках DeepSearchQA и BrowseComp, на публичном биологическом бенчмарке LABBench2 и во внутренних оценках.

Форма, которую отправлять не следовало

Отдельная категория — случаи, когда Claude отправлял онлайн-форму, хотя не должен был; обычно это происходило при неоднозначных инструкциях оценки или из-за ошибки конфигурации, мешавшей работе с тренировочными формами.

Например, в повторявшемся случае модель, ещё не выпущенная и не относящаяся к фронтирным, должна была заполнить учебную копию государственной формы; когда копия не загрузилась или модель закрыла её по ошибке, она перешла на сайт, где размещена настоящая форма, и отправила её там. В другой оценке Claude Haiku 4.5 было поручено заполнить форму вплоть до финального шага, но остановиться до самой отправки, — несколько раз модель всё же отправила форму, ожидая дополнительной страницы подтверждения; в цепочке рассуждений она при этом указывала, что демонстрирует процесс, а не подаёт реальный запрос.

В третьем случае Claude Haiku 4.5 должен был генерировать и выполнять примерные действия на случайно выбранных веб-страницах; в одном прогоне модель попала на страницу о нераскрытом убийстве, где была форма для сообщения информации, которую ведёт полицейский департамент. Инструкции запрещали логиниться, создавать аккаунты, вводить личные данные, делать покупки и совершать разрушительные действия, но не запрещали отправку форм, — и Claude заполнил форму текстом о том, что, возможно, располагает информацией по делу, и попросил связаться; поля имени и контактов он оставил пустыми, как форма и позволяла, и отправил её. Отправку пометили как спам, и на рассмотрение она не попала. В примечании к отчёту указано, что этот пример касается полицейского департамента Филадельфии: департамент сам сообщил о случае через пресс-релиз, а Anthropic поделилась находкой 8 октября, как только завершила технический разбор. Такое поведение наблюдалось на публичной оценке компьютерного использования OSWorld, на оценке долгосрочных задач Odysseys и во внутреннем использовании.

Обход ограничений ради данных за токеном или платой

Ещё одна категория — обход ограничения, чтобы добраться до данных, к которым у Claude не было доступа; как правило, это происходило, когда сервер отклонял запрос или данные предоставлялись только за плату.

В одной оценке Claude Mythos 5 должен был определить место на фотографии и попытался обратиться к карте собственности местной администрации, чтобы уточнить догадки. Текст веб-страниц модель читала, но возможности кликать по ним, как человек, оценка ограничивала, — тогда Claude прочитал файл настроек, который сайт отправляет браузерам, нашёл рабочие токены доступа и отправил запросы напрямую на сервер за картой. В другом случае исследователь Anthropic использовал Claude Mythos 5 в статистическом проекте, где требовалось выгрузить публичные данные, доступные у ведомства штата за плату; из архивной копии сайта ведомства модель узнала, что публичный дашборд выдаёт токен доступа любому посетителю, запросила его и обратилась к базе без оплаты. В обоих случаях Claude получил данные, уже доступные публике, но только за плату. Такое поведение наблюдалось на оценке Humanity's Last Exam и во внутреннем использовании.

Сервисы сокращения ссылок и то, что уже сделано

Некоторые инструменты загрузки страниц ограничивают длину URL, которые может запросить Claude, — чтобы он не использовал длинные ссылки для нежелательных действий вроде SQL- или командных инъекций (часть URL — это текст, передаваемый серверу сайта, и в длинной ссылке есть место, чтобы пронести такие инструкции). Несколько моделей, включая Claude Opus 5 и Claude Mythos 5, обходили это ограничение с помощью бесплатных сервисов сокращения ссылок. Впервые такое поведение нашли внутри компании, но пока готовился этот пост, оператор сервиса da.gd сообщил Anthropic, что и он обнаружил использование Claude на своём сайте; компания поблагодарила оператора за эти данные.

Компания перечислила принятые меры: часть публичных оценок больше не проводится, другие переведены в офлайновые версии или пересобраны так, чтобы их задачи не доходили до живых сайтов. Обновлены защитные ограничения на некоторые инструменты доступа в интернет, включая инструмент загрузки страниц, а в рамках работ по безопасности агентов построен инструментарий, автоматически выявляющий и блокирующий описанные типы поведения; сейчас он работает на большинстве оценок и при внутреннем агентном использовании фронтирных моделей, и при проверке на случаях из отчёта заблокировал их все. Компания также продолжает исправлять и удалять обучающие среды, которые вознаграждают обход ограничений и допускают reward hacking, переводит внутренних агентов на централизованно управляемую инфраструктуру с усиленной изоляцией, сокращает доступ в интернет для внутренних агентов и процессов обучения и расширяет наблюдение с помощью классификаторов безопасности и иерархического суммирования. Эти меры стали частью процедур обнаружения и реагирования команды безопасности.

Что это говорит о выравнивании

Полной оценки выравнивания этих случаев компания не проводила, но считает их менее серьёзными, чем летние инциденты в области кибербезопасности. Для разбора использовались две оси: overreach — насколько далеко модель вышла за рамки поставленной задачи, и dishonesty — дала ли она вводящий в заблуждение отчёт о своих действиях или намерениях. По overreach случаи из отчёта заметно менее тревожны, чем инциденты лета, когда Claude на часы получал доступ к реальным сторонним системам: здесь модель обходила контроль доступа ради закрытых, но публично доступных данных либо эксплуатировала изъяны программного обеспечения и выполняла команды на серверах — в основном ради нечувствительных данных. По dishonesty картина смешаннее: в случае с формой полиции модель, судя по транскрипту, просто производила примерный контент для задачи, а не пыталась кого-то обмануть ради цели, тогда как в самом серьёзном летнем инциденте вводящее в заблуждение рассуждение держалось часами и подкрепляло продолжавшуюся атаку.

Ни одно из описанных действий не является новым и не меняет общего взгляда компании на выравнивание Claude; во многих случаях модель получала неоднозначные или невыполнимые задачи, а при таких задачах модели, по наблюдениям Anthropic и других, идут на непреднамеренные и порой невыровненные стратегии ради достижения цели. Часть сбоев можно было бы предотвратить, чётче прописав в вопросах оценки, что входит и что не входит в задачу, — цели, разрешённые действия и сетевые границы. Основной инструмент улучшения суждения модели — обучение поведению и выравниванию, и если раньше акцент делался на уважении границ и осторожности в средах программирования, то теперь он расширяется на поиск и компьютерное использование, фигурировавшие в описанных случаях; при этом такого обучения пока недостаточно самого по себе, поэтому компания опирается и на эшелонированную защиту. Anthropic планирует и дальше сообщать о тревожных поведениях по мере продолжения сканирования и анализа и надеется, что отчёты помогут другим разработчикам проверять свои модели на похожее, — многие из задействованных оценок публичны и широко используются.