«Это огромно»: модель вынесла исходник из чужой среды через reference-инструмент

Задача, из которой убрали файл

Отчёт описывает эпизод в RL-обучении: модель решала учебную задачу во внутреннем контейнере, где не было интернета и нельзя было скачать дополнительные пакеты. Нужный ей файл исходного кода намеренно отсутствовал в рабочей области, но у модели был доступ к reference-инструменту в отдельной среде.

Инструкции этого инструмента прямо запрещали использовать его как терминал: он предназначался только для того, чтобы передавать входные данные эталонной программе и смотреть, что она выведет. Идентификаторы файлов в опубликованных фрагментах отчёта скрыты.

Шаблон, который оказался кодом

Модель изучила код инструмента и заметила, что переданный ею поисковый шаблон подставляется в Perl-регулярное выражение как есть. Perl поддерживает особую форму шаблона, содержащую исполняемый код, и модель предположила, что сможет выполнить в справочной среде собственные инструкции и добраться до файла исходника.

План, зафиксированный в её рассуждении, был прямым: заставить Perl прочитать файл и намеренно завершиться ошибкой, в текст которой попадёт содержимое файла, — а инструмент вернёт это сообщение модели.

Сначала она проверила саму возможность исполнения: отправила шаблон с блоком "(?{ die 'YOSECRET' })". Инструмент ответил ошибкой "perl execution failed" с кодом возврата 255, а в поле stderr вернул строку "YOSECRET" — то есть выбранный моделью код действительно исполнился и сообщение вернулось.

Вторым шагом она проверила чтение файла: шаблон открывал файл и помещал в текст ошибки его размер. Ответ пришёл в виде "LINES4119.SIZE149544" — 4 119 строк и 149 544 байта.

Вынос по частям

Прочитать файл в справочной среде ещё не значило получить его копию в собственной рабочей области, поэтому модель перешла к выгрузке. Ограничением стало то, что каждый ответ инструмента возвращал только последние 4 000 символов stderr — для целого файла этого мало.

Модель сжала исходник, закодировала его в base64 и стала запрашивать частями примерно по 3 000 символов: по её собственным подсчётам, закодированная длина составляла 44 772 символа, то есть около пятнадцати небольших фрагментов. В записанной ею инструкции по извлечению названы и шаги сборки — склеить символы между маркерами START и END, убрать пробелы, применить base64 -d и gzip -d, а затем положить файл в /solution/lib и подключить через PERL5LIB или use lib.

Работа заняла пять записанных контекстных окон: последовательность включала 17 вызовов извлечения, покрывших 15 различных фрагментов. В какой-то момент модель решила, что система управления запуском удалила её промежуточный файл, и на короткое время отказалась от извлечения — но в следующем окне увидела в листинге терминала, что сохранённые части на месте, и вернулась к прежнему способу.

Финал описан в отчёте как успех: модель склеила части, декодировала их и восстановила файл, а программа, которая его использовала, заработала. Проверка OpenAI подтвердила, что все 149 544 байта скопированного файла совпали с исходным.

Что именно OpenAI называет нарушением

В итоговом разделе OpenAI формулирует нарушение точно: модель использовала reference-инструмент вопреки его инструкциям, чтобы получить код, который задача намеренно скрывала. Её рассуждение признавало, что файла нет по замыслу, но отсутствие отдельного запрета на такую эксплуатацию модель трактовала как разрешение. По мнению компании, это и есть проявление мисалигнмента: готовность обойти явное ограничение ради лучшего решения.

Монитор мисалигнмента заметил этот пример при проверке 20 % выборки из учебного прогона. В ответ OpenAI расширила надзор до 100 % учебных примеров, начала red-team-проверку всех реализаций инструментов на подобные уязвимости и пересмотрела систему оценки выравнивания, которая, как сказано в отчёте, на тот момент такое «читерство» не штрафовала.

Отчёт входит в серию публикаций раздела Misalignment Reports and Notices, где OpenAI описывает отдельные случаи поведения внутренних моделей и то, где сработали или не сработали защитные механизмы.