«Компании обязаны двигаться с той скоростью, которую требует безопасное обучение моделей»: Meta расширила Superintelligence Scaling Framework на обучение, оценку и открытые веса

Что именно обновили

Meta Superintelligence Scaling Framework задаёт стандарты, которым компания следует при обучении, оценке и выпуске самых способных своих моделей. Документ описывает, какие возможности проверяются, какие пороги модель обязана пройти и какие требования предъявляются к системам безопасности и защищённости — причём и до начала обучающего прогона, и до развёртывания модели.

Компания подчёркивает, что рамка задумана изменяемой: её пересматривают по мере развития технологий и собственной инженерной практики. Нынешнее обновление отражает обязательства, принятые на этой неделе в Белом доме, и затрагивает безопасность во время обучения и оценки, выпуск моделей с открытыми весами, а также меняющийся подход компании к оценке рисков и управлению.

Общий принцип Meta формулирует так: каждая компания обязана двигаться с той скоростью, которую требует безопасное обучение её моделей, и имеет возможность предпринять действия, чтобы это произошло.

Требования безопасности распространили на обучение и оценку

Поводом стало наблюдение, что крупные риски могут возникать ещё до развёртывания. Без адекватных защит модели с сильными возможностями в кибербезопасности способны использовать уязвимости своего окружения, скомпрометировать окружающую инфраструктуру и совершить несанкционированные действия во время оценки или обучения.

Поэтому Meta расширяет требования рамки о потере контроля на удержание ИИ в границах (AI containment) во время обучения и оценки. Перед каждым прогоном обучения с подкреплением компания будет определять, могут ли возможности обучаемой модели скомпрометировать её окружение; если да, до начала прогона потребуются конкретные меры защиты.

Таких мер три. Окружения в прогонах высокого риска размещаются в песочницах, одобренных по стандартизированному внутреннему процессу проверки уязвимостей: песочницы с уязвимостями высокой серьёзности устраняются или исключаются до старта, а сами окружения проверяются на особенности, провоцирующие gaming вознаграждения, — например, на эксплуатируемую систему оценок или невыполнимые задачи. Выводы модели, включая полные траектории и chain of thought, пишутся в реальном времени в защищённые системы журналирования, которые не позволяют изменить или удалить их задним числом. В дополнение к дежурным командам, следящим за моделями во время обучения, автоматические системы будут мониторить все прогоны моделей высокого риска и смогут остановить обучение при обнаружении серьёзного нежелательного поведения или попыток выйти из-под контроля; сами мониторы планируется подвергать стресс-тестам, чтобы убедиться, что они распознали бы несанкционированные действия моделей.

Открытые веса: польза и уточнённые риски

Выпуск моделей с открытыми весами Meta описывает как часть того, что делает выгоды ИИ доступными всем. Для исследований это редкий и ценный ресурс: он позволяет публиковать воспроизводимые эксперименты и проверять выводы, а академические и медицинские исследователи могут дообучать такие модели под свои задачи — например, под разбор медицинских изображений, включая анализ рентгеновских снимков и выявление заболеваний.

Открытый выпуск, по мнению компании, двигает и работу над безопасностью: даёт большую прозрачность в том, как устроена модель, служит ресурсом для исследований согласованности и интерпретируемости и улучшает практики оценки, поскольку разработчики могут опираться на предыдущие достижения.

При этом рамку дополнили разбором того, как модель с открытыми весами можно изменить или использовать после выпуска. Тот, у кого есть веса, может ресемплировать вывод в обход отказа, задать начало ответа (prefill) или дообучением убрать поведение отказа; рамка требует учитывать, как модель будет применяться в конкретном контексте развёртывания.

Оценка рисков и новый комитет совета директоров

Meta также уточнила полный набор факторов, которые учитывает в оценке рисков. Там, где это уместно, компания проводит моделирование угроз вместе с внешними экспертами и взаимодействует с государственными структурами и другими сторонами, чей вклад уточняет её оценки и требования; для рисков биологического и химического оружия оцениваются и возможности, которые даёт модель, и то, насколько развёртывание способствовало бы распространению.

В области управления Meta объявила о дальнейших шагах: в ближайшие месяцы компания продолжит менять рамку и общий подход к управлению ИИ и создаст новый комитет по ИИ при совете директоров. Комитет будет рассматривать будущие изменения документа и независимо обеспечивать соответствие операций компании установленным стандартам.

Компания связывает эти планы с обязательствами, принятыми на этой неделе: они предполагают сильные внутренние контроли, следящие за тем, что модели компаний умеют в ключевых областях и остаются ли они согласованными, — с проверкой независимой командой внутри компании и независимым аудитором или оценщиком извне.