Этика
Предложение паузы Anthropic возвращает координацию в центр внимания при обеспечении безопасности ИИ
Недавний призыв Anthropic к согласованной опции приостановки, если риски передового ИИ ускорятся, заключается не столько в том, чтобы остановить ИИ сегодня, сколько в том, чтобы заставить правительства и лаборатории ответить на трудный вопрос: как на самом деле выглядело бы коллективное сдерживание, если предупреждающие знаки станут неоспоримыми?
Майкл С ·
Anthropic привлек внимание к идее скоординированной паузы для пограничный ИИ если риски станут развиваться быстрее, чем правительства и компании смогут с ними справляться. Суть не в том, что развитие ИИ вот-вот остановится завтра. Суть в том, что серьезное управление безопасностью требует ответа на вопрос, который отрасль часто избегает: если предупреждающие признаки станут неоспоримыми, кто на самом деле сможет замедлить гонку?
Это проблема координации, лежащая в основе передового ИИ. Отдельные лаборатории могут тайно беспокоиться о скачках возможностей, злоупотреблениях, автономных кибероперациях, убеждении или потере контроля. Но ни одна лаборатория не хочет приостанавливать работу в одиночку, если конкуренты продолжают обучение и развертывание. Добровольное сдерживание работает только в том случае, если основные участники верят, что другие последуют их примеру.
Пауза — это механизм управления, а не лозунг
Слово «пауза» стало политически нагруженным. Критики воспринимают его как противо-инновационное или как способ для устоявшихся игроков заморозить конкуренцию. Сторонники воспринимают его как нечто базовое управление рисками для технологии с экстремальными отрицательными возможностями. Более полезным подходом является процедурный: какие пороговые значения, доказательства, институты и инструменты проверки могут вызвать коллективное сдерживание?
Реалистичный режим паузы потребует нескольких элементов. Лаборатории должны будут раскрывать достаточно информации, чтобы регуляторы могли оценить возможности и риски. Правительства должны будут иметь полномочия устанавливать временные ограничения. Облачные провайдеры и поставщики чипов должны будут иметь обязательства по мониторингу. Международные партнёры должны будут иметь общее понимание того, что считается опасным порогом.
Это высокая планка, но не невозможная. Ядерная безопасность, авиация, биологическая безопасность и финансовая стабильность — все имеют формы чрезвычайного сдерживания, даже если ни одна из них не соответствует ИИ полностью. Проблема в том, что разработка ИИ более децентрализована, развивается быстрее и тесно связана с коммерческой деятельностью, чем эти более старые области.
Предложение Anthropic также создает тест на доверие для самой компании. Лаборатория, которая призывает к координации, должна быть готова определить, какие доказательства вызовут сдержанность, какую прозрачность она предложит и как она будет избегать использования языка безопасности для того, чтобы замедлить конкурентов, одновременно сохраняя собственное преимущество.
Самый сильный аргумент в пользу паузы заключается не в том, что её следует использовать без разбору. Дело в том, что создание механизма до кризиса более ответственно, чем импровизация после него. В этом смысле вмешательство Anthropic возвращает на повестку дня правильный вопрос: если рубеж продвинется слишком быстро, кто-нибудь будет знать, как остановиться вместе?
Темы: Anthropic, безопасность ИИ, передовые модели, управление