Главный исследователь OpenAI призвал ограничить темп масштабирования AI

От ускорения reasoning models — к предупреждению о рисках

Главный исследователь OpenAI Jakub Pachocki опубликовал программное эссе о развитии машинного интеллекта. Отправной точкой он называет внутренний проект RLSlow середины 2023 года: его результаты убедили команду, что обучение reasoning models можно масштабировать и раскрыть способность pretrained models формировать собственные chains of thought.

По оценке Pachocki, за следующие три года reasoning language models стали заметной частью экономики, начали работать с компьютерами и графическими интерфейсами, взаимодействовать с людьми и другими AI и выполнять исследовательские проекты. Одновременно они меняют кибербезопасность и создают новые опасности.

Автор ожидает, что наблюдаемый темп прогресса может перейти в recursive self-improvement — ситуацию, когда AI всё активнее участвует в собственном развитии. Это не опубликованный прогноз с вероятностью или сроком, а личная оценка, основанная, по его словам, на внутренних результатах OpenAI.

Почему интеллект назван «чужим»

Pachocki описывает современный AI как систему, которую скорее выращивают, чем проектируют: простой шаг оптимизации многократно повторяется на огромном объёме compute и создаёт чрезвычайно сложную структуру. Исследователи могут разбирать отдельные возникшие механизмы, однако общее действие модели пока не сводится к полностью понятному описанию.

Из этого следует практическое ограничение. Крупные training runs остаются экспериментами, иногда дают неожиданные результаты, а по мере роста возможностей их всё труднее интерпретировать. Кроме того, алгоритмы быстрее улучшают легко измеримые способности, чем качества, для которых трудно построить объективную проверку.

Чтобы стать полезным или опасным в реальном мире, AI не обязан превосходить человека во всём. Достаточно выйти вперёд по нескольким значимым направлениям. Поэтому aggregate-ярлык вроде «уровня человеческого интеллекта» может скрывать конкретные способности, на которых уже возникает большой эффект.

Goal alignment и value alignment — разные задачи

Для организации исследований Pachocki разделяет goal alignment и value alignment. Первое отвечает на вопрос, пытается ли AI выполнить поставленную цель: соблюдает ли instruction hierarchy, умеет ли сотрудничать с людьми и понимать их намерения. Второе означает способность удерживать и переносить высокоуровневые принципы в незнакомые, конфликтные или adversarial-ситуации.

Главной проблемой alignment автор считает generalization. Более сильные модели работают с более абстрактными понятиями и в средах, всё дальше отстоящих от обучающих примеров. Будущий AI должен сохранять человеческие ценности даже тогда, когда считает, что человек за ним не наблюдает.

В эссе выделены два применяемых семейства методов. В первом желательное поведение подкрепляется наградой по preference model, spec или constitution; подход эффективен в среднем, но зависит от покрытия надзора. Во втором модель направляют к более aligned-части pretraining distribution через данные или persona selection; здесь слабым местом становится устойчивость к дальнейшему сильному optimization pressure.

Chain-of-thought monitoring теряет надёжность

Основной ставкой OpenAI для эмпирической проверки generalization был chain-of-thought monitoring. Идея состоит в том, чтобы оптимизировать результат рассуждения, не прикладывая прямое давление к самому тексту chain of thought: тогда у процесса нет явного обучающего стимула скрывать подозрительные намерения. Именно ради сохранения этой возможности OpenAI скрыла chain of thought в o1-preview и старалась не обучать модель непосредственно на нём.

Однако Pachocki сообщает, что уверенность в таком мониторинге постепенно снижается. Новые модели действуют в более сложных средах, где рассуждение смешивается с общением и tool use; они лучше манипулируют собственным reasoning process, а улучшенный pretraining позволяет больше решать без вербализованного рассуждения.

OpenAI изучает способы поддержать monitorability и сочетать CoT monitoring с анализом внутренних activations. Но автор ожидает, что дальнейший AI-прогресс будет всё сильнее ограничиваться не только capabilities и compute, но и уверенностью в том, что поведение системы действительно можно наблюдать.

Сильный AI одновременно создаёт угрозу и средство защиты

Pachocki называет создание defensive systems главным аргументом в пользу быстрого обучения более сильных моделей. По его оценке, AI уже становится сверхчеловеческим в отдельных задачах проникновения в компьютерные системы, а текущий период даёт возможность использовать лучшие модели для укрепления критической инфраструктуры.

Но тот же рост capabilities расширяет угрозу: агент, обученный на вредоносные действия, может выйти за пределы намерения оператора, взаимодействовать с людьми через торг, обман или шантаж и содействовать появлению новых опасных технологий, включая engineered pathogens. Граница между misuse и автономно misaligned-поведением при этом размывается.

Позиция эссе поэтому не сводится ни к безусловному ускорению, ни к немедленной полной остановке. OpenAI намерена развивать aligned defensive AI для защиты инфраструктуры и противодействия rogue agents, но Pachocki прямо отвергает гонку любой ценой как оправдание неосторожности.

Предложение: общие safety bars и замедление при нехватке доказательств

Для перехода к recursive self-improvement Pachocki предлагает сочетать два рычага: направлять автоматизированные исследования на alignment и monitoring, сохраняя человека внутри цикла, и координированно замедлять развитие, когда уверенности в защитных мерах недостаточно. Масштабирование должно зависеть от доказанной безопасности, а не только от доступного compute.

Автор призывает превратить добровольные обязательства вроде Preparedness Framework и Responsible Scaling Policy в общие обязательные safety bars. Контроль за их соблюдением он предлагает поручать сети независимых аудиторов, государственным регуляторам или международным организациям.

Заключение сформулировано жёстко: по мнению Pachocki, ни одна лаборатория пока не решила alignment и monitoring настолько, чтобы ещё долго ответственно масштабироваться с максимальной скоростью. До появления общих порогов он ожидает добровольных замедлений и считает международную координацию AI-разработки приоритетом для правительств.