«Единственный способ узнать — измерить»: Base Compute открыла Compute:Arena для локального инференса

Что открыла Base Compute

22 сентября 2026 года в блоге Base Compute на Hugging Face вышел пост об открытии Compute:Arena — публичного лидерборда и CLI для замеров локального инференса. Запись помечена как community article, её автор — Лукас Веземанн (Lukas Wesemann), он же ведёт проект BaseRT; в комментариях к публикации он пишет, что набор поддерживаемых рантаймов продолжает расти.

Задача сформулирована языком инженеров: производительность локального инференса — величина четырёхмерная, потому что одна и та же модель ведёт себя по-разному в зависимости от выбранного квантования, чипа и рантайма. Llama в Q4_K_M через llama.cpp на M4 Pro, те же веса в 4-битном формате MLX на том же чипе и тот же GGUF на GB10 с CUDA — три разных измерения, и ни одно из них не предсказывается спецификацией. Вывод авторов простой: единственный способ узнать — измерить.

Каждая запись на доске описывает одну точку в этом пространстве: конкретный файл модели, определённый по SHA-256; квантование с указанием формата, так что BaseRT Q4 и GGUF Q4_K_M считаются разными вариантами одного класса моделей; чип с нормализованным именем, при котором исходное значение сохраняется; и конкретный исполняемый файл рантайма, тоже с хешем. Инструмент вырос из внутреннего стенда: сначала это был собственный harness для отслеживания производительности чипов и моделей во времени, а открыли его, чтобы измерения приходили с большего числа машин, чем есть у самой команды.

Что именно измеряется

Методика зафиксирована одинаково для всех: prefill измеряется свипом от 128 до 16 384 токенов, декодирование — на 128 токенах, с прогревами и тремя записанными повторениями. Каждый сабмит проходит идентичный свип, поэтому любые две записи на доске сравнимы на каждом размере нагрузки. В README клиента к этому добавлено жёсткое правило отбора: к отправке принимается только прогон с полным дефолтным свипом (PP128–PP16384 и TG128), а кастомные размеры дают валидный подписанный отчёт, помечаются как LOCAL ONLY и в сабмит не попадают.

Рантаймов два, и оба подключены через один интерфейс адаптера: BaseRT работает с бандлами.base, штатный llama-bench из llama.cpp — с файлами.gguf. Подбор модели для llama.cpp ищет по Hugging Face, клиент никогда не линкует рантайм, а каждая цифра приходит от отдельного исполняемого файла, который он запускает и хеширует. Адаптеры MLX и vLLM, по README, могли бы быть добавлены за тем же интерфейсом, но на момент публикации их не существует.

Каждый прогон даёт подписанный локальный отчёт: сырые счётчики токенов и тайминги по каждому повторению, хеши модели и исполняемого файла до и после прогона — так что подмена файла отменяет подпись, — определённая идентичность чипа с указанием источника детекции и автоматическая телеметрия. Датчики температуры, состояние питания, давление на память, swap и снимки GPU попадают в отчёт, то есть тепловые условия раскрываются, а не усредняются. Загрузки моделей привязаны к неизменяемым ревизиям Hugging Face и сверяются с опубликованными LFS-хешами.

Приватность до отправки обеспечена конструкцией: бенчмарки идут и проверяются офлайн, ничего не загружается, пока пользователь не войдёт в аккаунт, не увидит точный JSON, который станет публичным, и не подтвердит отправку. Сайт формулирует то же самое короче: аккаунт не требуется, подписанные отчёты остаются на машине до отправки.

Что подпись доказывает и что нет

Границы метода опубликованы вместе с обещаниями. Подпись Ed25519 доказывает, что отчёт не менялся после подписания, но не то, что машина сказала правду. От точной кросс-рантаймовой эквивалентности авторы отказываются прямым текстом: llama-bench и harness BaseRT различаются порядком нагрузок и поведением прогрева, и эти различия записываются в подписанные данные, а не прячутся за нормализацией.

Лидерборд тоже объявляет свои границы. Заголовочные рейтинги сравнивают совместимые нагрузки PP512 prefill и TG128 decode, измеренная нагрузка показана рядом с каждым результатом, а фильтры собраны по модели, рантайму, квантованию и чипу. Порядок в таблице определяет декодирование — метрика, которую на доске первой видят и пользователи, и производители рантаймов.

Кто это публикует и что уже на доске

Издатель арены — та же команда, что делает BaseRT: рантайм для Apple Silicon и NVIDIA GB10 под Apache-2.0 на Rust, у репозитория которого на момент проверки 222 звезды на GitHub. Раньше она опубликовала на Hugging Face пост о релизе BaseRT с заявленными до 1,56 раза более быстрым декодированием против llama.cpp, до 1,35 раза против MLX и до 1,81 раза на prefill у mixture-of-experts моделей. То есть доска открыта производителем одного из двух рантаймов, которые она сравнивает, и это часть рамки, а не деталь: результаты обоих рантаймов лежат на ней рядом, а сами данные собираются из подписанных отчётов с машин сообщества.

На момент проверки этой статьи лидерборд показывал 378 конфигураций, а записи в верхней части были отправлены несколькими пользователями 19–20 сентября 2026 года. Среди чипов в таблице соседствуют Apple M1–M5 и NVIDIA GB10, среди бэкендов — Metal, CUDA, ROCm и связка BLAS с Metal, среди рантаймов — BaseRT и llama.cpp. Каждая строка содержит измеренную нагрузку, версию квантования и дату обновления, поэтому сравнение не сводится к одной цифре на модель.

Сам клиент — открытый: репозиторий basecompute/computearena-cli под Apache-2.0 на Rust, созданный 9 сентября 2026 года, с релизом 0.1.3 от 18 сентября 2026 года. Готовые сборки есть для macOS на Apple Silicon и для Linux на x86_64 и arm64, Windows пока не поддерживается. Ограничение по платформам здесь важнее деталей установки: арена измеряет ровно те машины, на которых люди запускают модели локально, и на момент публикации это в основном Apple Silicon, Linux-серверы и GB10.

Что это меняет для читателя

На практике спор о том, какой рантайм быстрее, перестаёт опираться на спецификации и обзоры: любая цифра на доске привязана к файлу модели, квантованию, чипу и исполняемому файлу, а не к названию продукта. Пользователю важнее другое — он может посмотреть, как его собственный класс моделей ведёт себя на его классе железа, прежде чем что-то устанавливать.

Границы стоит держать в голове вместе с цифрами. Отчёт подтверждает, что данные не подменили после замера, но не то, что замер честный: контроль тепловых условий, повторяемость и полный свип делают сравнение осмысленным, а не окончательным. И доска остаётся публичной ареной с открытым кодом, а не сертификацией: любая запись на ней — это измерение с конкретной машины в конкретных условиях, и именно так её и стоит читать.