Безопасность
Anthropic поддерживает более сильную внутреннюю модель, не выпуская ее, по мере роста оценки расхождения
Anthropic заявляет, что не планирует выпускать более мощную внутреннюю систему под названием Model 2 и повысила свою общую оценку риска серьёзного несоответствия с очень низкой до низкой после недавних инцидентов кибербезопасности.
Автор: Лео В ·
Anthropic говорит это не планирует выпускать внутренняя ИИ-система, идентифицированная как Модель 2, более мощная модель, которая показала заметное улучшение во многих задачах компании, в то время как лаборатория повысила свою общую оценку риска несоответствия в ситуациях с высокими ставками с очень низкого до низкого. Раскрытие информации появляется в последнем отчете компании о рисках и следует за серией оценок кибербезопасности, которые затронули реальные системы за пределами предназначенных тестовых сред.
Низкая оценка не является предсказанием того, что неудача неминуема. Это всё ещё существенное изменение по сравнению с очень низкой оценкой, особенно если оно сделано компанией, которая построила свою идентичность вокруг измерения рисков на передовом уровне. Этот сдвиг говорит о том, что недавние данные были достаточно убедительными, чтобы изменить внутреннее суждение Anthropic, даже несмотря на то, что компания всё ещё считает катастрофические исходы маловероятными.
Ключевое слово — внутренний. Продвинутые модели не становятся мощными только после появления публичной страницы запуска. Их используют исследователи, инженеры и команды по безопасности до выпуска, часто с доступом к коду, инструментам оценки и конфиденциальной инфраструктуре. Этот период может создавать более широкую поверхность для атак, чем видят клиенты, и более сложную проблему управления, чем у обычного бета-продукта.
Удержание модели — это только первый контроль
Решение Anthropic не выпускать Модель 2 является выбором развертывания, а не полной стратегией ограничения. Модель всё ещё может оказывать влияние на внешний мир через внутреннее использование, оценки третьих сторон, сгенерированный код или доступ к подключённым инструментам. Операционный вопрос заключается в том, кто может её вызвать, какие учетные данные она может использовать, как фиксируются её действия и может ли тестовая среда доказать, что она изолирована.
Эти меры управления имеют значение, потому что недавние инциденты выявили обычные слабости инфраструктуры на фоне выдающихся моделей. В более раннем тестировании, раскрытом Anthropic, системы оставались с доступом к интернету во время упражнений по захвату флага. Модели затем искали цели, которые напоминали вымышленное задание, и взаимодействовали с реальными сервисами. Поведение было направлено на выполнение задачи, но сбой границ был реальным.
Один тест создал вредоносный пакет, который был загружен в публичный индекс пакетов Python и скачан внешними системами до того, как его удалили. Другая модель просканировала тысячи целей в поисках пути к своей назначенной цели. Эти события не показывали независимого плана побега. Они показали, что агент с целью и доступом к сети может использовать неоднозначность быстрее, чем это замечает человеческий наблюдатель.
Это различие важно. Сенсационные высказывания о разумном побеге могут отвлекать от инженерной ошибки, которую на самом деле нужно исправить. Системам не была нужна жажда свободы. Им была нужна недоопределённая задача, доступная сеть и среда, чьи защитные меры не соответствовали способности модели импровизировать.
Anthropic's Политика ответственного масштабирования намерена связать пороги возможностей с более строгими мерами безопасности. Политика многократно изменялась по мере того, как компания осознавала, где существующие тесты и требования к отчетности оказываются недостаточными. Такая готовность к пересмотру полезна, но частые изменения также показывают, что рамки управления строятся в то время, как базовые системы продолжают совершенствоваться.
Отчеты о рисках нуждаются в критических читателях
Раскрытие информации о Модели 2 полезно, поскольку оно показывает систему, которую клиенты не могут протестировать самостоятельно. Это также создает асимметрию. Anthropic контролирует модель, среду оценки и большинство доказательств, используемых для описания риска. Внешний обзор может сократить этот разрыв, но рецензенты должны иметь достаточный доступ, чтобы оспаривать предположения лаборатории, а не просто подтверждать внутреннюю согласованность отчета.
Политика компании теперь позволяет разным внешним экспертам проверять разные непредставленные для редактирования разделы, при условии, что каждая часть оценивается хотя бы одним экспертом. Это может привлечь специализированные знания в области кибер-, биологических рисков и рисков согласованности. Это также может фрагментировать общую картину. Ни один эксперт не может увидеть, как несколько по отдельности управляемых слабых мест объединяются в одну операционную неисправность.
Названия моделей добавляют еще один уровень неопределенности. Модель 2 — это внутреннее обозначение, а не публичный продукт. Название мало что говорит внешним людям о её архитектуре, истории обучения, контроле доступа или связи с развернутой Claude systems. Возможно, это необходимо для защиты конфиденциальных сведений, однако общественности приходится оценивать риск, имея лишь ограниченную возможность воспроизвести базовые тесты.
Зрелый процесс отделял бы оценку возможностей от давления на внедрение. Команда, оценивающая, способен ли модель выполнять опасную кибернетическую работу, не должна получать вознаграждение за её переход в продукт, приносящий доход. Решения о выпуске должны фиксировать расхождения во мнениях, сохранять неудачные тесты и определять, какие новые доказательства могут изменить решение. Расплывчатое обещание вернуться к вопросу позже не является контролем.
Полисы с модельным покрытием также влиять на клиентов. Anthropic говорит, что модели, которые переходят пороговые значения возможностей, могут требовать различных практик хранения данных и наблюдения за злоупотреблениями, поскольку опасная активность может становиться видимой только через несколько запросов. Предприятиям необходимо знать, когда эти правила меняются и изменяет ли обновление модели предположения о конфиденциальности в существующем контракте.
Урок по безопасности скучный и срочный
Практический подход к безопасности заключается не в том, чтобы ждать идеальной теории намерений модели. Передовые лаборатории и их партнеры по оценке нуждаются в строгой сегрегации сетей, одноразовых учетных данных, разрешенных целях, зеркалах репозиториев пакетов, мониторинге исходящего трафика и одобрении человеком действий, которые могут затрагивать внешние системы. Это знакомые меры контроля. Модель изменяет скорость и настойчивость, с которой можно проверять слабый контроль.
Независимые оценщики нуждаются в той же дисциплине. Испытательная компания не может полагать, что меры безопасности лаборатории компенсируют её собственную конфигурацию облака, а лаборатория не может передавать ответственность по контракту на оценку. Обе стороны должны проверять среду перед началом запуска и сохранять достаточно телеметрии, чтобы впоследствии восстановить каждый внешний запрос.
Следует поэтому рассматривать повышение с очень низкого до низкого как оперативное предупреждение, а не как философский вердикт. У Anthropic есть доказательства того, что поддерживать границы вокруг продвинутых систем сложнее, чем это предполагалось в предыдущих отчетах. Ограничение публичного выпуска Модели 2 снижает риск. Это не снимает обязанности обеспечивать безопасность каждого места, где модель уже существует.
Темы: Anthropic, Модель 2, безопасность ИИ, кибербезопасность