«У мира нет способа увидеть, что происходит внутри лабораторий»: Anthropic предложила метрики темпов развития ИИ

Зачем лаборатория это публикует

Anthropic Institute опубликовал разбор с тремя семействами измерений, которые должны показать публике, что происходит внутри передовых лабораторий: какую долю исследований и разработки моделей выполняет сам ИИ, насколько хорошо контролируются действия агентов и как распределяются вычисления. Компания прямо называет причину: модели становятся мощнее и всё чаще используются, чтобы строить следующую версию себя, а у внешнего мира нет способа это увидеть.

Публикация опирается на аргумент о темпах: если мир обсуждает замедление разработки передовых систем, ему нужны числа, которые можно сравнивать во времени и между лабораториями. Отдельно оговорено, что при координации по темпам эти показатели изменились бы — ссылка на призыв главы Anthropic Дарио Амодея затормозить фронт работ.

Сколько исследований делает сам Claude

Первый показатель — прототип Anthropic R&D Automation Index: компания описывает всё многообразие работ по исследованиям и разработке моделей, оценивает уровень автоматизации каждой задачи и агрегирует оценки. Для шкалы взят индекс Automation Level от Epoch AI: от AL0 (ИИ не участвует) до AL5 (ИИ работает полностью автономно), где AL3 означает «ИИ сотрудничает», а AL4 — «ИИ ведёт работу», выполняя большую часть задачи по короткой постановке под присмотром человека.

Снимок на август 2026 года: Claude не работает полностью автономно ни на одном измеренном подмножестве работ по ИИ-разработке, при этом он «ведёт» 26% исследовательской и инженерной работы Anthropic, а доля работ уровня «ИИ сотрудничает» и выше превышает 90%. В приложении к разбору описано, как это считалось: недельная выборка 20% сотрудников отделов, входящих в цикл разработки моделей, около 15 000 задач, собранных из рабочих записей, и дерево из 542 узлов, из которых 378 — листья.

Проблему сравнения между лабораториями Anthropic называет честно: единой методологии нет, а оценку проводят модели самой компании, то есть «судья» может повторять ошибки проверяемого. Выход видится в сторонней верификации или проверке моделями других разработчиков с ограничениями на обмен чувствительными данными, а сами измерения могли бы стать триггером более строгих требований — например, фиксированного окна тестирования перед тем, как новая модель пойдёт в дальнейшую разработку.

Надзор за агентами в цифрах

Второй показатель — надзор за действиями агентов, которых сотрудники всё чаще оставляют работать полуавтономно на длинных отрезках времени. Anthropic считает три метрики: покрытие (доля действий агента, проходящих через монитор), задержку проверки (время от действия до его разбора — сначала автоматическим монитором, затем человеком) и долю эскалаций (какие действия заблокированы или отправлены на дополнительный разбор).

На август 2026 года в самой используемой внутренней платформе Anthropic одновременно работали около 30 000 агентов, занятых исследованиями и инженерией, и измерения относятся только к ней. 100% действий этих агентов проходят через онлайн-монитор до исполнения, обычно за секунды, и 100% действий после исполнения попадают в офлайн-монитор; заблокированные действия человек разбирает в течение недели. Монитор помечает около 100 000 расшифровок в неделю, которые затем проверяют несколько классификаторов, а примерно 50 наиболее приоритетных случаев в неделю уходят на человеческий разбор.

Главное число: из более чем миллиарда решений исследовательских и инженерных агентов за август 2026 года монитор заблокировал 0,002% — примерно одно из 47 000, а на дополнительную проверку уходит одна-две расшифровки на тысячу. Anthropic оговаривает, что индивидуальные агенты редко ведут себя неправильно, но при миллионах и миллиардах агентов в экономике редкие события станут регулярными. В прошлом независимую проверку офлайн-мониторинга проводила организация METR.

Сколько вычислений уходит на безопасность

Третий показатель — распределение вычислений: их можно направлять на более мощные модели, на обслуживание клиентов или на работу по безопасности вроде аудита «мыслей» модели и оценки её готовности к выпуску. Anthropic считает вычисления одним из самых проверяемых входов в процесс разработки и потому возможным рычагом будущей политики темпов: координация могла бы требовать роста доли вычислений на выравнивание, интерпретируемость и тестирование.

Снимок сделан по неделе с 13 по 20 июля: около 6% вычислений, ушедших на исследования и разработку, были направлены на безопасность, а среди вычислений, потраченных на ИИ-разработку, выполняемую самим ИИ, эта доля составила около 12%. Компания называет оценки намеренно консервативными: если токен в равной мере двигал и возможности, и безопасность, он не учитывался, а классификаторы-предохранители в эти цифры вообще не входят.

Что должно появиться рядом с цифрами

Anthropic обещает встроить в свои процессы независимых сторонних оценщиков из нескольких организаций и дать им доступ к внутренним процессам, системам и данным, сопоставимый с доступом внутренних команд оценки рисков. Эти третьи стороны должны проверять практики безопасности, сообщать об инцидентах и следить за ключевыми метриками.

Все перечисленные измерения компания публикует и в отчёте о рисках за август 2026 года — это отдельный документ из её системы ответственного масштабирования. Рядом в разборе упоминается и предложение Advanced AI Framework — правила выпуска безопасных моделей с обязательствами по прозрачности, включая отчёты о рисках, которые могли бы требовать от лабораторий государственные регуляторы.

Смысл всей конструкции в разборе формулируется как сокращение разрыва между тем, что знают лаборатории, и тем, что знает публика: измерения, публикация, а затем решение общества о том, как этими данными пользоваться. Ограничение тоже названо прямо: цифры пока добровольные и в значительной степени самоотчётные, а их сопоставимость между компаниями ещё предстоит обеспечить методологически.