«Около 1,5 ТБ в BF16 и 18 токенов в секунду в двухбитном кванте»: Hugging Face показала, как Muse Spark Open запускают и дообучают

Что добавила публикация Hugging Face

Анонс Meta описывал саму модель и её назначение: Muse Spark Open назван открытой моделью для агентной работы с кодом, которая принимает текст, изображения, аудио и видео, а веса выложены двумя контрольными точками. Публикация Hugging Face посвящена другому — тому, как эта модель ведёт себя на конкретном железе: сколько памяти требует каждая версия весов, на каком оборудовании она разворачивается, с какой скоростью считает и как дообучается.

Числа в публикации — собственные замеры команды Hugging Face на её оборудовании: от пропускной способности квантов на настольной машине до роста точности при дообучении на 64 ускорителях. Ниже — то, что из этих замеров следует практического.

Архитектура: 256 экспертов, из которых на токен идут восемь

Языковая часть модели состоит из 62 слоёв со скрытой размерностью 8192; в каждом слое 128 голов запросов и 16 голов ключей и значений, то есть grouped-query attention, по 64 измерения на голову. Запросы и ключи нормализуются, у блока внимания есть выходной гейт, а вход с выходом блок складывает не напрямую, а через обучаемый остаточный гейт.

Плотную сеть прямого прохода заменил блок смеси экспертов: 256 экспертов в слое, из которых маршрутизатор выбирает 8 на каждый токен, а каждый эксперт проецирует 8192 измерения в 4096 и обратно. На экспертов приходится около 97 % всех параметров модели. Практическое следствие сформулировано прямо: в памяти обязаны лежать все 256 экспертов, поэтому развёртывание требует памяти модели на 816 млрд параметров, а считается каждый токен по примерно 42 млрд — то есть со скоростью 42-миллиардной модели.

Изображения и кадры видео переводит в токены отдельный энкодер восприятия: 1,8 млрд параметров, 50 слоёв, 16 голов внимания, патчи 14×14 и признаки размерности 4096. Звук принимает аудиоэнкодер: один аудиотокен на каждые 80 мс, то есть 12,5 токена в секунду, а десятисекундная запись занимает 125 входных токенов.

Сколько нужно железа: около 1,5 ТБ в BF16 против одного узла на B200

Контрольных точек две — BF16 и NVFP4. Веса BF16 в формате safetensors занимают около 1,5 ТБ, и в transformers такая версия разворачивается на четырёх узлах по восемь GPU H200 с тензорным параллелизмом TP=32. Версия NVFP4 хранит параметры в 4-битной точности, рассчитана на GPU NVIDIA Blackwell и укладывается в один узел B200.

Посчитан и кэш внимания: каждый токен добавляет в него 2 × 16 голов × 64 измерения × 62 слоя = 126 976 значений, что в BF16 составляет около 250 КБ на токен и около 266 ГБ на полный контекст в 1 млн токенов. То есть на заявленном максимуме контекста один только кэш занимает больше памяти, чем способна удержать любая из названных настольных конфигураций.

Кванты: 18 токенов в секунду на M3 Ultra и предел в 256 ГБ

Для локального запуска команда протестировала кванты llama.cpp на Mac M3 Ultra с 512 ГБ памяти: двухбитный квант с imatrix-калибровкой выдаёт 18 токенов в секунду и занимает 304 ГБ, оставляя заметный запас под кэш. Для версии через MLX приведён другой замер — квант oQ3e занимает около 344 ГБ и даёт примерно 225 токенов в секунду на префилле и 21 токен в секунду на генерации при запросе в 1024 токена и 128 сгенерированных.

Ограничение названо прямо: даже трёхбитный квант требует больше 256 ГБ оперативной памяти. Выключить рассуждение у этой модели нельзя — регулируется только его глубина, от low до xhigh, и на простых задачах команда советует держать низкий уровень, чтобы не расходовать токены.

Для серверного развёртывания приведены готовые конфигурации: NVFP4-версия в SGLang рассчитана на четыре GPU GB300, в vLLM — на GPU серии Blackwell с контекстом 128K. На Inference Endpoints тот же рецепт доступен либо на восьми RTX Pro 6000 по 98 ГБ с контекстом 131 072 токена, либо на восьми H200 по 141 ГБ, если нужен полный контекст 1 048 576 токенов.

Дообучение: LoRA на 64 H100 за два часа

Дообучение показано через TRL на восьми узлах по восемь GPU H100: обучаются LoRA-адаптеры только на слоях внимания, а все 256 экспертов в каждом слое остаются замороженными. Модель шардируется через FSDP, эксперты раскладываются по ускорителям группами по восемь, и каждый ускоритель обучается на своей части батча.

Замеры прогона: 500 шагов заняли около двух часов на 64 H100 при примерно 8000 токенов в секунду, средняя точность по токенам выросла с 72 % до 84 %, а функция потерь упала с 1,26 до 0,57. Это результаты одного прогона Hugging Face на собственном наборе, а не сравнение с другими моделями.

Что команда собрала сама

Демонстрации показывают мультимодальность модели в работе. Первая — генератор 3D-объектов: двухбитный квант на llama.cpp соединён с кодирующим агентом Pi, который пишет код Three.js, рендерит результат в браузере, делает снимки с разных углов и возвращает их той же модели для визуальной правки.

Вторая — браузерный агент: модель получает предыдущие действия, системный запрос, адрес страницы и снимок экрана, и больше ничего — ни DOM, ни HTML-кода. Третья соединяет голосовой ввод, изображение и браузер: по описанию задачи модель ищет подходящий товар на Amazon и выбирает вариант по критериям.

Чего эта публикация не доказывает

Все числа производительности и точности получены Hugging Face на её собственном оборудовании, сторонних замеров в публикации нет. Условия прогонов описаны неполно: для 18 токенов в секунду на llama.cpp не указаны длина запроса и объём генерации, тогда как для замера MLX они приведены. Сопоставлять эти цифры с результатами других моделей по публикации нельзя.

Характеристика «самая способная открытая модель США на сегодня» принадлежит Meta и повторена в публикации как описание модели, а не как итог независимого сравнения. 4-битная точность NVFP4 названа «пренебрежимо малой потерей» без приведённых замеров качества, поэтому проверить её по этой публикации невозможно.

Наконец, готовые рецепты — это конфигурации и команды, а не подтверждение того, что каждое названное сочетание железа проверено: для SGLang и vLLM приведено по одной референс-сборке, а полный контекст в 1 млн токенов упирается в 266 ГБ кэша, которые нужно где-то разместить.