«Ни одна третья сторона не может закрыть все вопросы безопасности фронтира»: OpenAI описала приоритеты внешних оценок

Зачем нужны внешние оценки

Лаборатории фронтира несут огромную ответственность за то, как модели обучаются, оцениваются и развёртываются, а оценки третьих сторон — критически важная часть баланса этой ответственности: они расширяют возможности для замечаний по безопасности ИИ, информируют общество и удерживают лаборатории в рамках ясно сформулированных и независимо подтверждённых заявлений о безопасности.

OpenAI заявляет, что в рамках усилий по сдерживанию темпа развития фронтира обязуется поддерживать независимые оценки с глубоким уровнем доступа на этапах обучения, оценки и развёртывания. Такой доступ нужен, чтобы проверяющие могли оспорить допущения компании, найти пропущенные риски и прийти к собственным выводам об эффективности защитных механизмов. Документ опубликован 22 сентября 2026 года.

Что уже делается

Компания напоминает, что давно работает с внешними оценщиками на разных этапах разработки и развёртывания моделей: оценки третьих сторон встроены в практики Preparedness Framework, а сама OpenAI поддерживала организации и законодательство, продвигающие более строгий и подотчётный процесс.

В этих взаимодействиях она предоставляла доступ к информации о технических защитных механизмах, к видимой цепочке рассуждений и то, что сама называет беспрецедентным уровнем доступа к конфиденциальным данным и внутреннему развёртыванию — для реагирования на инциденты и для red teaming систем мониторинга.

Описанные приоритеты и принципы касаются работы с независимыми организациями частного и некоммерческого сектора по техническим оценкам безопасности и дополняют работу с правительствами, где роли и ответственность могут требовать других подходов.

Четыре приоритетных направления

Первый приоритет — независимая оценка safety cases на этапах обучения, оценки, внутреннего и внешнего развёртывания. Такая работа требует экспертизы в выравнивании, методах контроля вроде мониторинга, кибербезопасности, биологического и химического злоупотребления и red teaming; оценивать приходится и отдельные части, и case целиком, и, вероятно, силами нескольких оценщиков с разной компетенцией.

Вопросы здесь конкретные: подтверждено ли доказательствами то, что заявлено в safety case, и соблюдались ли его условия на практике; покрывает ли case самые острые риски, найденные в ходе оценки, и нет ли пробелов; применяются ли эффективные методы, чтобы уменьшить стимулы в обучении, которые могли бы вознаграждать обман, reward hacking, разрушительные действия или обход ограничений.

Второй приоритет — оценка критических защитных механизмов во внутреннем и внешнем развёртывании. Защита, по описанию OpenAI, охватывает обучение, внутреннее и внешнее развёртывание и включает модельные, исполнительные и security-механизмы, а также мониторы misalignment — от риска потери контроля до злоупотреблений в кибер-, биологической и химической областях. Именно здесь компания видит пользу технических партнёрств: они находят слабые места сейчас и ускоряют разработку стандартов, что особенно важно для внутренних развёртываний, где стандарты безопасности ещё только формируются.

Проверять предлагается в том числе, выдерживают ли защитные механизмы состязательное тестирование и джейлбрейки при «сером» доступе и защищают ли они от роста возможностей в зонах высокого риска. Отдельный вопрос — как агенты в авторизованном тестировании взаимодействуют с киберзащитой: контролями доступа, песочницами, системами обнаружения и реагирования; какие защиты предотвращают, обнаруживают или сдерживают вредные действия, а где отказывают.

Есть вопросы и к мониторам misalignment: нет ли в них критических пробелов, которые могли бы привести к потере контроля или тяжёлому misalignment, и насколько надёжна цепочка рассуждений как источник доказательств о безопасности и выравнивании по мере роста возможностей моделей. Также важно, реализован ли мониторинг во всех значимых этапах обучения, оценки и развёртывания так, чтобы его нельзя было легко отключить, и соразмерны ли защитные механизмы возможностям модели.

Третий приоритет — оценка возможностей по риск-категориям Preparedness Framework (химические и биологические риски, кибербезопасность, самоулучшение ИИ) и оценок выравнивания на предмет рисков тяжёлого misalignment. OpenAI спрашивает, покрывают ли оценки определения порогов, правильно ли эти пороги установлены, обновляются ли тесты, когда модели стабильно достигают максимума, и измеряют ли новые тесты действительно более продвинутые возможности, а также какие важные поведения или условия могут пропускать оценки выравнивания.

Четвёртый приоритет — независимое расследование критических инцидентов misalignment, когда модель действует без разрешения или уходит от надзора: такие случаи вскрывают слабости методов выравнивания и защитных механизмов даже без злого умысла. В отдельных ситуациях, как в случае инцидента OpenAI с Hugging Face, компания считает полезным привлекать независимую третью сторону; при этом у расследующих должна быть нужная экспертиза — киберфорензика, выравнивание, крупномасштабный анализ цепочек рассуждений — и достаточно людей и ресурсов, чтобы вести расследование быстро.

Поскольку реагирование на инциденты может требовать доступа к чувствительным внутренним и сторонним данным, часть деталей может быть чувствительной к публикации или к доступу. Выводы независимых расследований при этом способны укреплять safety case модели: они дают доказательства для оценки заявлений о её выравнивании и об эффективности мер, принятых после ранее наблюдавшегося misalignment.

Семь принципов

Принципы OpenAI описывают, как должен быть устроен процесс. Оценка начинается с взаимно согласованной области и чётко определённых заявлений о безопасности, которые предрегистрируются до начала работы; лаборатория и оценщик заранее разграничивают, чьи заявления проверяются. Значимые риски, найденные за пределами первоначальной области, разбираются отдельно, а выводы должны прямо говорить, что оценивалось, а что нет.

Доступ должен быть пропорциональным и укладываться в правовые, security- и IP-ограничения. Если прямой доступ невозможен, проверяющие могут работать через назначенного представителя компании или искать непрямые и privacy-preserving механизмы доступа, защищающие исходную информацию.

Методология должна быть прозрачной: оценщики объясняют методы, критерии и неопределённости, опираясь на существующие стандарты, а там, где стандартов нет, обосновывают свои критерии. В отчётах прямые находки отделяются от интерпретации, объясняется неопределённость и указывается, какие выводы подтверждает доказательство.

Принцип экспертизы и независимости требует демонстрировать релевантную техническую компетентность и раскрывать конфликты интересов — финансовые стимулы, связи с разработчиками, прежнее участие в оцениваемой работе. Защитные механизмы должны исключать влияние коммерческого давления и схем вознаграждения на выводы; допускаются отводы и периоды исключения.

Безопасность и конфиденциальность означают информационную гигиену и юридически обязывающие обязательства о неразглашении для персонала, соразмерные чувствительности систем и данных, включая интеллектуальную собственность, чувствительную информацию и записи об оценке. Если оценщик не может обеспечить требования безопасности в своей среде, доступ может предоставляться на управляемых компанией устройствах или на её территории.

Находки должны быть действенными: отчёты указывают конкретные пробелы и содержат достаточно деталей, чтобы их можно было устранить, а у лаборатории есть разумный срок на исправление до публикации. Там, где это уместно, отчёты объясняют и уроки для разработчиков, операторов агентов и защитников — с практическими рекомендациями.

Наконец, публикация должна быть ответственной: отчёты опираются на доказательства и выходят максимально открыто, насколько позволяет защита чувствительной информации. Если полное раскрытие невозможно, подотчётность поддерживает конфиденциальная отчётность перед надзорными органами — например, органами управления или советами директоров. Нужны принципиальные правила редактуры: лаборатория может запросить изъятие чувствительных сведений, а оценщик вправе отметить существенные изъятия и их влияние на отчёт, сохраняя редакционную независимость.

Что дальше

OpenAI обещает поддерживать независимых оценщиков и формировать более ясные общие международные стандарты — как через будущие законы, так и через институты частного управления. Компания намерена работать с разнообразным сообществом оценщиков с глубокой экспертизой по вопросам безопасности фронтира, наращивая свои возможности и развивая экосистему третьих сторон.

Ключевую оговорку компания формулирует прямо: ни одна третья сторона не может и не должна полностью закрывать острые вопросы безопасности фронтира. OpenAI сообщает, что уже ведёт разговоры с несколькими третьими сторонами о предложениях, соответствующих перечисленным приоритетным направлениям.