Политика
Пол Кристиано присоединился к совету директоров и комитета по безопасности фонда OpenAI
Исследователь по выравниванию и правительственный советник присоединятся к совету директоров некоммерческой организации OpenAI и к ее Комитету по безопасности, добавив технически скептический голос в структуру, которая контролирует корпорацию компании, приносящую общественную пользу.
Майкл С ·
САН-ФРАНЦИСКО. Исследователь в области согласования Пол Кристиано вступление в Совет Фонда OpenAI и его Комитет по безопасности и охране, назначив одного из наиболее известных сторонников подготовки к катастрофическим рискам ИИ в этом секторе внутрь некоммерческого органа, который контролирует коммерческую корпорацию общественной пользы OpenAI. Он также будет выполнять функции наблюдателя без права голоса в совете директоров OpenAI Group PBC.
Назначение является управленческим решением, а не церемониальной консультативной ролью. OpenAI заявляет, что комитет контролирует практики безопасности и охраны по всей организации, включая коммерческую группу, разрабатывающую и внедряющую передовые модели. Влияние Кристиано будет зависеть от доступа комитета к доказательствам и его способности влиять на решения о выпуске, но его приход дает совету участника, карьера которого была сосредоточена на вопросах о том, достаточны ли текущие меры предосторожности.
Технический критик входит внутрь структуры
Кристиано руководил исследованиями по выравниванию в OpenAI с 2017 по 2021 год и внес вклад в основополагающую работу по обучение с подкреплением на основе обратной связи человека. Позже он основал Центр исследований выравнивания, который изучает, как продвинутые системы могут оставаться ориентированными на интересы человека. Его работа часто сосредоточена на масштабируемом надзоре: как люди могут оценивать системы, которые могут выполнять задачи, слишком сложные для того, чтобы рецензент мог проверить их напрямую.
Он также приносит опыт работы в государственном секторе из Центра стандартов и инноваций в области ИИ при Национальном институте стандартов и технологий и его предшественника, Института безопасности ИИ США. OpenAI заявила, что эта работа включала оценки передовых возможностей с учетом национальной безопасности. Компания отметила, что Кристиано воздержится от участия в государственных вопросах и оценках моделей, связанных с OpenAI, в своей роли старшего технического советника.
Отвод необходим, потому что назначение сокращает расстояние между регулятором, оценщиком и компанией. Техническая экспертиза часто перемещается между государством и промышленностью, и этот обмен может улучшать работу государственных учреждений. Он также может создавать конфликты интересов или впечатление, что надзор слишком тесно связан с организациями, которые проверяются. Четкое раскрытие информации и задокументированные отводы имеют такое же значение, как и биография любого отдельного члена.
Управление OpenAI имело необычайное значение с момента его основания, поскольку миссия некоммерческой организации стоит выше бизнеса с огромными капитальными требованиями. Фонд заявляет, что сохраняет контроль и значительную долю в капитале OpenAI Group PBC. Эта структура предназначена для защиты общественно полезной цели, одновременно позволяя компании привлекать капитал и конкурировать. Она также требует, чтобы директора согласовывали решения по безопасности с коммерческим развитием внутри одной корпоративной семьи.
Комитет будет оценен во время выпуска
Комитет по безопасности может поручать проведение оценок, пересматривать политики и требовать мер по снижению рисков. Его реальная власть проявляется, когда модель имеет коммерческую ценность, а доказательства неоднозначны. Ключевые вопросы заключаются в том, получают ли члены необработанные результаты тестов, могут ли они запрашивать внешнюю экспертизу и могут ли их возражения задержать запуск. Названия должностей не отвечают на эти вопросы. Процедуры и решения отвечают.
Кристиано утверждал, что продвинутый ИИ может создавать риски, с которыми нынешние институты не готовы справиться. Эта точка зрения может усилить надзор, но она не решает практических споров о пороговых значениях, доказательствах или соразмерности. Совет должен взвешивать серьезные маловероятные опасности вместе с текущими вредами, такими как дискриминация, мошенничество, трудовые нарушения и утрата конфиденциальности. Техническое согласование является одним из компонентов этой более широкой ответственности.
Назначение следует за реклутализацией OpenAI в 2025 году, которую, как утверждает компания, проверяли генеральные прокуроры Калифорнии и Делавэра. Эти офисы помогли сформировать обязательства в отношении контроля Фонда. Получившаяся договорённость теперь будет проверяться решениями, а не организационными схемами. Независимые наблюдатели будут искать доказательства того, что некоммерческая организация может получать информацию и принимать решения до того, как коммерческая группа создаст необратимый факт.
Фонд также финансирует научные исследования, инициативы гражданского общества и проекты по укреплению устойчивости. Эти гранты могут создавать общественную ценность, но благотворительность не следует путать с управлением. Особая обязанность совета директоров заключается в контроле за институтом, который разрабатывает технологии. Комитет по безопасности и защите имеет наибольшее значение именно тогда, когда его рекомендации неудобны.
Назначение Кристиано дает OpenAI технически серьезный голос с опытом работы с обеих сторон границы между государственным и частным секторами. Оно также повышает стандарт, по которому будет оцениваться комитет. Если группа обладает полномочиями, общественность в конечном итоге должна увидеть, как эти полномочия изменили решение. Если же нет, добавление еще одного уважаемого имени не решит основной вопрос управления.
Темы: Пол Кристиано, OpenAI, управление ИИ, согласование ИИ, NIST