OpenAI раскрыла координированную кампанию по извлечению защищённых рассуждений из своих моделей

Что именно произошло

По словам OpenAI, самая ранняя активность кампании относится к первой неделе июля. Защищённые рассуждения компания определяет как внутреннюю запись того, как модель прорабатывает задачу: извлечение этой записи может раскрыть информацию, скрытую от финального ответа, и помочь воспроизвести возможности модели.

Операторы не взламывали шифрование, не компрометировали базу данных и не получали прямого доступа к сохранённым пользовательским диалогам. Вместо этого они манипулировали взаимодействием с моделью так, что защищённые рассуждения воспроизводились в формах, видимых запрашивающему, — скоординированно и в масштабе, что нарушает условия использования. OpenAI подчёркивает, что это не уязвимость, свойственная только её моделям, и передала информацию партнёрам по отрасли через Frontier Model Forum, чтобы укрепить коллективную защиту от adversarial distillation.

Прежде чем публиковать отчёт, компания исследовала масштаб и потенциальный эффект, развернула собственные митигации, а также поделилась находками с исследователями и партнёрами по индустрии и получила обратную связь, чтобы убедиться, что защита от такого класса атак уже работает. Митигации и расследование продолжаются.

Как устроена атака

Операторы искали новые способы извлечь защищённые рассуждения — в том числе копировали зашифрованные рассуждения из одного диалога и просили модель в другом диалоге расшифровать и переписать скрытое содержимое.

Независимые исследователи безопасности через ответственное раскрытие сообщили OpenAI о связанных уязвимостях кросс-модельной работы и компакции диалогов. Компания проверила их находки и подтвердила, что выявленные пути атаки реальны, — эта работа помогла понять более широкий класс атак и ускорить митигации.

Хронология и масштаб

Активность началась 1 июля и сначала была небольшой, пока 24 и 25 июля не появились всплески высокого объёма: 16 тыс. запросов по соответствующему паттерну извлечения более чем от 4 тыс. пользователей. Дальнейшее расследование обнаружило связанную активность по паттернам промптов в кластере из более чем 15 тыс. пользователей, которую OpenAI полностью прервала к 28 июля. Активность со временем менялась, что лишь подтверждает: adversarial distillation — более широкая задача безопасности, требующая многослойной и адаптивной защиты.

Атрибуция

OpenAI указывает, что неясно, происходили ли все операторы, наблюдавшиеся в соответствующий период, от одного действующего лица. При этом основной кластер активности компания приписывает людям, связанным с Moonshot AI — разработчиком Kimi.

Почему это важно

Компания называет adversarial distillation риском для безопасности и национальной безопасности: извлечённые рассуждения можно использовать для обучения другой модели без сохранения предохранителей, которые применялись к пользовательским выходам оригинальной модели. В масштабе дистилляция способна ускорять перенос передовых возможностей без сопоставимых вложений в безопасность. Эти опасения усиливаются по мере того, как модели получают возможности в сферах двойного назначения.

OpenAI отдельно подчёркивает, что риск не уникален для неё: схожие техники могут затрагивать и другие передовые ИИ-системы, поэтому речь идёт об общей задаче безопасности, требующей координации в отрасли.

Как ответила OpenAI

Кампанию остановили сочетанием мер по аккаунтам, технических контролей и координации с партнёрами: компания банила и ограничивала мошеннические аккаунты, усилила контроли регистрации и инфраструктуры и расширила мониторинг связанных сетей.

Отдельно усилена защита скрытых рассуждений на уровне пользователей, рабочих пространств, организаций и семейств моделей. OpenAI закрыла путь, позволявший тому, у кого уже были зашифрованные рассуждения другого пользователя, воспроизвести их и восстановить содержимое, и добавила проверки, которые выявляют и удерживают потоковый вывод, способный раскрыть рассуждения. Когда связанная активность шла через сторонние сервисы, компания работала с их провайдерами, чтобы выявить и прервать вовлечённые аккаунты.

Наконец, OpenAI поделилась выводами через Frontier Model Forum и профильные каналы обмена информацией с государственными структурами, чтобы другие фронтирные разработчики и партнёры из публичного сектора могли искать похожую активность и усиливать собственную защиту. Компания предупреждает: системы, поддерживающие переносимые или воспроизводимые артефакты рассуждений, могут столкнуться с родственными рисками.

Что дальше

В OpenAI ожидают, что попытки adversarial distillation станут изощрённее по мере роста фронтирных моделей и поиска более дешёвых способов имитировать их возможности. Защита требует многослойных контролей и постоянной адаптации.

Работа не закончена: размещённым у партнёров развёртываниям нужны те же защиты, что и сервисам первой стороны, а атаки через вывод инструментов требуют проверок шире, чем анализ обычного видимого текста. Компания продолжает улучшать защиту инструментов, покрытие классификаторов и отказы модели, а также распространять соответствующие контроли на облачных партнёров. Ответ и дальше будет строиться по трём направлениям: более сильные технические защиты от извлечения, лучшее обнаружение и реагирование на координированные кампании и более глубокий обмен информацией об угрозах между индустрией и государством.