Cohere: правила для ИИ не должны писать несколько компаний по антимонопольному исключению

Что произошло

Сооснователь и CEO Cohere Эйдан Гомес опубликовал пост «Who Gets to Define the Rules for AI?» с подзаголовком «AI Needs Evidenced Standards, Not A Cartel».

В нём он спорит с дорожной картой, которую на этой неделе опубликовал глава Anthropic Дарио Амодеи и в которой тот просит у правительств антимонопольные исключения во имя безопасности.

Главный вопрос, по Гомесу, звучит так: должны ли несколько рыночно доминирующих AI-компаний из Кремниевой долины определять правила и стандарты безопасности технологии такого масштаба для всего мира — и одновременно решать, насколько быстро она развивается.

Независимую проверку наиболее способных систем Cohere поддерживает. Вопросы вызывают другие части предложения: кто пишет стандарт для проверяющих, кто проводит и курирует проверку и кто вообще участвует в разговоре о правилах.

Что предлагает Амодеи

Эссе Амодеи «We Must Pace the Frontier» вышло в сентябре 2026 года и начинается с тезиса, что отрасль должна замедлить темп улучшения возможностей AI-моделей.

По его формулировке, это не остановка обучения моделей, а время, которого должно хватить на выравнивание (alignment) и защитные меры, причём подтверждать их выполнение должны сторонние оценщики.

План состоит из трёх шагов: встроенные оценщики с доступом на уровне сотрудников, координация демократических стран по общим стандартам безопасности и ограничениям скорости прогресса, а затем глобальная координация с авторитарными правительствами.

Первый шаг Anthropic обязуется выполнить односторонне и призывает правительства обязать остальные фронтирные компании к тому же.

Второй шаг, как прямо указано в сноске к эссе, требует правительственного посредничества или отказа от антимонопольных ограничений.

Выгоду Амодеи описывает так: скоординированный подход даст разработчикам время на работу по безопасности, не жертвуя коммерческим преимуществом и лидерством США в ИИ.

Почему Cohere называет это картелем

Гомес называет предложение картелем под любым другим именем и овцой в волчьей шкуре: под предлогом защиты публики олигополии просят разрешить им изменить правила конкуренции и диктовать условия всем остальным.

Ключевое место, по его мнению, в том, что договариваться конкурентам об ограничении выпуска обычно запрещено законом. Поэтому план и просит у правительств узкое антимонопольное исключение, а заодно предлагает обязать остальных разработчиков ИИ следовать тому, о чём договорятся участники, хотя у этих разработчиков и у общества не было возможности высказаться.

Добавить ещё одно кресло за столом проблему не решает: проблема в том, что список участников вообще существует, тогда как решения касаются каждой компании, каждого правительства и каждого гражданина.

Режим, спроектированный несколькими лабораториями, будет строг только к тем рискам, под которые у них уже построены системы безопасности, и молчалив ко всему остальному. Риск в таких рамках определяется через масштаб, из-за чего судить о нём оказываются вправе только владельцы огромных систем.

Гомес приводит и научный аргумент: в отрасли нет согласия о том, сколько наступательных возможностей даёт сам размер модели, а сколько — обвязка (harness) вокруг неё, и режим, построенный исключительно на порогах вычислений, не видит ни хорошо оркестрированных малых моделей с инструментами, ни кибер-роя — это другая поверхность риска, чем одна модель.

Требования на входе тоже говорят сами за себя, перечисляет он: огромные вычисления, инфраструктура непрерывного мониторинга, отдельные организации по безопасности, команды резидентных оценщиков со столами и пропусками, архитектура отключения, глубокие связи с правительством — и пул независимых оценщиков, который и без того мал и финансируется теми же организациями.

Отдельно он разбирает обещание сохранить коммерческое преимущество: фирмы, пишущие рамку, — это и есть фирмы на вершине рынка, а механизм, который замедляет всех, но сохраняет текущие преимущества, не делает ИИ безопаснее.

Четыре столпа альтернативы

Гомес подчёркивает, что не претендует на роль автора правил, и предлагает идеи, которые правительства и законодатели могут рассматривать наряду с другими.

Первый столп — доказательная рамка рисков: до любых мандатов на тестирование нужен согласованный и опубликованный ответ на вопросы, какие именно вреды вызывают беспокойство, какие возможности ИИ их создают, при каких условиях и в каких контекстах и когда должно вмешиваться государство.

Такую рамку, по его мнению, должна разрабатывать международная группа стран, а не одна страна, в открытом режиме, с участием технологов, экспертов по политике и представителей критических секторов вроде финансов и критической инфраструктуры, причём с публикацией разногласий. Финансировать тестовые мощности предлагается через государственные исследовательские структуры, чтобы наука не зависела от бюджетов измеряемых компаний.

Второй столп — обязательная прозрачность: разработчики должны раскрывать, как устроены их модели и системы, для чего они предназначены, какие риски несут и какие меры смягчения применены, а также сообщать о серьёзных инцидентах в пределах своей видимости и контроля.

Третий столп — тестирование, масштаб которого задаёт доказательная рамка, а не несколько компаний. В него попадают, например, генерация кибератак, синтетическое мошенничество и клонирование голоса, манипуляции в масштабе, физическое или биохимическое оружие и всё, что касается критической инфраструктуры.

При этом тестировать предлагается не каждую систему на каждый риск: рамка должна быть уровневой и пропорциональной, а сертификация — открыта для всех компаний, причём стандарт должны согласовывать не те, кого по нему измеряют.

Четвёртый столп — настоящие механизмы заверения (assurance), устроенные по образцу банков, авиации и атомной энергетики: разработчик тестирует сам, заказчик проверяет под свои требования, независимые стороны дают дополнительное подтверждение, регулятор курирует рамку.

По Гомесу, схема работает при трёх условиях: критерии тестирования и проверки разработаны коллективно и опубликованы; третьи стороны обязаны включать разные мнения и не получать оплату от того, кого проверяют; выводы доходят до публики без конфликта интересов.

Исторические параллели и научная часть спора

В качестве исторических примеров Гомес приводит два случая.

В 1975 году Комиссия по ценным бумагам и биржам США (SEC) отобрала три фирмы как общенационально признанные рейтинговые организации, не опубликовав критериев, по которым этот статус мог бы получить кто-то ещё. Четверть века спустя фирм было по-прежнему три, и они присвоили высший рейтинг ипотечным бумагам, едва не обрушив мировую экономику.

В 1985 году Европа повторила эксперимент: автопроизводители выпросили широкое антимонопольное исключение как раз под предлогом сложности и безопасности машин, и последовавшее регулирование позволило им самим задавать стандарты помещений, оборудования и обучения персонала. По словам Гомеса, Еврокомиссии потребовалось около 25 лет реформ, чтобы разобрать эту конструкцию.

Вывод он формулирует так: строгие стандарты безопасности возможны без монополии действующих игроков на их выполнение.

Отдельно он критикует научную фантастику вокруг темы: на этой неделе исследователь ушёл из большой лаборатории с предупреждением, что сверхразум с высокой вероятностью уничтожит человечество в течение десятилетия, а его старший коллега публично оценил шансы выше десяти процентов.

Гомес не сомневается в искренности этих людей, но напоминает, что такие числа не выведены из фундаментальной реальности, а являются ощущением, выраженным десятичными дробями. Решать открытый научный вопрос, по его мнению, нельзя, вручая одной стороне право писать обязательные правила.

Июльские инциденты, о которых сообщалось, произошли в двух наиболее обеспеченных ресурсами лабораториях мира с самыми большими командами по безопасности, а предлагаемое лекарство — примерно то, что и было на месте, когда всё сломалось: порог по возможностям не поймал бы проблему, потому что системы активно обучали и оценивали, а ограничение вычислений замедлило бы агентов, но не уменьшило их способности.

По его версии, отказали качество инструкций, прочность стен вокруг теста и то, как долго агентам позволяли работать без наблюдения. Помогают здесь куда менее драматичные меры: обязательное сообщение о серьёзных инцидентах, тесты против известных эксплуатируемых пробелов, стандарты наблюдаемости и логирования на этапе тестирования, изоляция — в идеале на собственных мощностях — всего, что подключено к критической инфраструктуре, и применение правил по тому, где система развёрнута и до чего может дотянуться, а не по размеру компании.

Что дальше

Спор идёт не о том, нужны ли ограничения: Гомес прямо пишет, что они нужны, а о том, кто их пишет, кому дают участвовать и чьи интересы защищают правила.

Правила будут написаны в любом случае; открыто только, сделает это группа, к которой может присоединиться кто угодно и чьи доказательства любой может проверить, или несколько компаний в закрытой комнате.

Со своей стороны Cohere делает ставку на суверенитет и локальное развёртывание: критическую инфраструктуру, по его словам, нельзя защищать, арендуя национальную способность у иностранного монополиста через закрытый интерфейс.

Амодеи в своём эссе подчёркивает, что первый шаг — встроенные оценщики — Anthropic выполняет уже сейчас, и призывает правительства обязать остальные фронтирные компании к тому же.