«Балл без конфигурации — просто шум»: AISI и EvalEval открыли проверенные результаты бенчмарков

Что именно открыли

Британский институт ИИ-безопасности (UK AI Security Institute, AISI) и коалиция EvalEval начали новую фазу сотрудничества: AISI открывает публично заявленные методы и результаты оценок через платформу Evaluation Cards. Первый выпуск включает проверенные результаты, контекст и информацию о конфигурации для пяти бенчмарков из основного эксперимента работы института.

Речь идёт о HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro и Terminal-Bench 2.0. Данные охватывают шесть фронтир-моделей: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4.

В релиз вошли и результаты двух связанных кибероценок — Cyber CTFs и The Last Ones; в них используется другой, частично пересекающийся набор моделей. Данные сопровождают работу AISI «How Inference Compute Shapes Frontier LLM Evaluation», посвящённую тому, как производительность на бенчмарках зависит от вычислительного бюджета на этапе вывода и от протокола оценки.

Сотрудничество началось не с нуля: институт и EvalEval вместе работали на совместном воркшопе рядом с NeurIPS 2025, а обратная связь от AISI помогла доработать схему Every Eval Ever (EEE). Новая фаза переводит эту общую инфраструктуру в практику.

Зачем это нужно

По мере ускорения внедрения ИИ оценки становятся всё более важным источником свидетельств о возможностях моделей и систем, однако результаты публикуются в самых разных форматах, на разных платформах и в разных изданиях — часто без достаточной информации для воспроизведения, а повторный прогон тех же оценок сам по себе может оказаться запретительно дорогим.

Миссия EvalEval — улучшать эту экосистему через общую схему отчётности Every Eval Ever и открытую платформу Evaluation Cards, которая сводит результаты оценок и сведения, нужные для их интерпретации, в единую структуру. Платформа объединяет метаданные бенчмарков, данные прогонов и метаданные моделей в интерпретируемые записи: это позволяет увидеть, когда похожие баллы получены в существенно разных условиях.

AISI со своей стороны делает оценки эффективнее (инструмент OptStop), статистически строже (HiBayES) и стандартизованнее — в том числе в анализе транскриптов и выявлении возможностей моделей.

Баллы зависят от протокола

Работа «How Inference Compute Shapes Frontier LLM Evaluation» оценивает до 12 фронтир-моделей на семи сложных бенчмарках из области разработки ПО, математики, медицины и кибербезопасности. Авторы используют контролируемую схему из трёх простых вмешательств по масштабированию вывода: увеличенные бюджеты токенов, компактификация контекста и повторные попытки отправки — как с самостоятельной оценкой моделью, так и с минимальной обратной связью о правильности.

Выводов три. Во-первых, большие бюджеты токенов существенно повышают результат в нескольких доменах, включая кибербезопасность, FrontierMath, Humanity's Last Exam и TerminalBench. Во-вторых, оценки при фиксированном бюджете всё сильнее занижают возможности фронтира по мере развития моделей: новые модели достигают более высокой производительности именно на больших бюджетах, где они берутся за более сложные задачи и решают их надёжнее. В-третьих, бенчмарки различаются тем, какие методы масштабирования помогают больше всего: повторные отправки улучшают результат широко, а польза от больших бюджетов токенов, внешней обратной связи и параллельных попыток зависит от конкретного бенчмарка.

Авторы формулируют вывод прямо: баллы бенчмарков зависят от протокола. Они предлагают сообщать о возможностях модели как функции вычислительного бюджета на этапе вывода, явно указывать выбор протокола и сравнивать поколения моделей на большом общем диапазоне вычислений при согласованных бюджетах — особенно там, где речь идёт о безопасности или политике.

В посте Hugging Face приводится иллюстрация из этой работы: результат на Humanity's Last Exam меняется вместе с протоколом и вычислительным бюджетом, а когда модели после каждой попытки получают от оракула обратную связь о правильности, они продолжают решать дополнительные задачи по мере роста использования токенов.

Практический смысл для тех, кто сравнивает модели, прост: если рядом с баллом нет протокола и бюджета, сравнение может описывать настройки запуска, а не саму модель.

Сколько в отрасли данных, по которым можно перепроверить

Платформа Evaluation Cards считает четыре интерпретируемых сигнала по каждой записи «модель — бенчмарк — метрика» и агрегирует их до уровня корпуса. Полная конфигурация записана лишь у 6% заявленных результатов — остальные независимо перезапустить нельзя.

Средняя полнота по 82 886 тройкам «модель — бенчмарк — метрика» составляет 52%, а у 94% записей есть хотя бы одно недокументированное поле; чаще всего отсутствуют max tokens (93%) и temperature (92%).

С независимым подтверждением тоже непросто: лишь у 12% троек есть отчёты более чем от одной стороны, при этом 89% отчётов — сторонние и только 6% — от самих разработчиков моделей. Наконец, 22% групп, пригодных для сравнения, расходятся между вариантами — это 526 групп из 2 373.

Эти цифры объясняют, зачем нужны открытые данные AISI: там, где другие отчёты не содержат деталей, подобные релизы дают проверенные точки отсчёта для интерпретации оценок в контексте — например, помогают понять, как выбор настроек мог повлиять на заявленный результат.

Как устроена общая схема

Every Eval Ever — единый открытый формат данных и публичный датасет для результатов ИИ-оценок, который разрабатывает коалиция EvalEval. Он создаёт общий формат обмена, позволяющий результатам из HELM, EleutherAI, Inspect и собственных скриптов сосуществовать и сравниваться напрямую без сложного маппинга.

Ключевая идея — провенанс: схема фиксирует не только метрику, но и полный контекст эксперимента — шаблоны промптов, параметры вывода и состояние системы, чтобы результат был прослеживаемым, прозрачным и воспроизводимым. Текущая версия схемы — 0.2.2; каждой оценке присваивается уникальный идентификатор, поэтому несколько прогонов одной модели с разными датами и конфигурациями сосуществуют без коллизий, а обязательное поле retrieved_timestamp фиксирует момент вывода и открывает исследования дрейфа API и версий моделей.

Схема также явно разделяет площадку (провайдера) и движок (систему вывода), поскольку производительность зависит от раннера, а сами записи содержат обязательное поле библиотеки оценки — HELM, lm-eval или собственный код.

Что предлагают делать дальше

В посте перечислены три направления для разных ролей: разработчикам моделей — публиковать проверенные результаты; разработчикам оценок — публиковать бенчмарки и данные прогонов по схеме Every Eval Ever; исследователям в области оценок, управления и политики — изучать Evaluation Cards по бенчмаркам и моделям или использовать платформу, чтобы оценить состояние отчётности об оценках в целом.

Как только результаты выходят открыто вместе с информацией о настройках, исследователи и практики могут разбирать отдельные работы внимательнее и сопоставлять выводы по всей экосистеме. Авторы блога ожидают, что по мере распространения EEE такие открытые сравнения будут поддерживать более широкие и надёжные метаисследования.