«Веса вышли»: 501B-модель Beam от Reflection открыта на Hugging Face под Apache 2.0 — с поддержкой transformers, vLLM и SGLang в день релиза

Что именно изменилось

Официальный пост Hugging Face от 16 октября открывается словами «Beam by Reflection is out on Hugging Face!»: первая модель новой американской лаборатории Reflection открыта, это разреженная смесь экспертов (MoE) на 501 млрд параметров, из которых 23 млрд активны на каждый токен, только текст на входе и выходе, окно контекста 1M токенов и лицензия Apache 2.0.

То же подтверждает сама Reflection: «Сегодня мы выпустили веса модели Beam на Hugging Face под лицензией Apache 2.0». По её словам, в карточке модели собраны финальные бенчмарки, а отдельно опубликован Beam Safety Technical Report с полной методологией и оценками безопасности.

Живая проверка репозитория совпадает с этим: страница reflection/Beam-1.0-501B-A23B открыта без гейта, интерфейс моделей сообщает licence apache-2.0 и private=false, веса лежат в формате safetensors, репозиторий создан 7 октября 2026 года и обновлён 16 октября в 12:38 UTC.

Это закрывает прежнее обещание лаборатории: 5 октября в анонсе Beam она писала, что «в этом месяце выпустит веса под лицензией Apache 2.0 вместе с документацией и полным стеком для запуска, оценки и дообучения модели», и тогда же открыла ранний доступ лишь избранной группе пользователей по списку ожидания.

Что лежит на хабе и что даёт релиз

Веса опубликованы в трёх точностях: BF16 (около 1 ТБ в safetensors), FP8 и NVFP4. Вариант NVFP4 хранит большинство параметров в 4 битах и сжимает 501B-модель примерно с 1 ТБ до 280 ГБ; он рассчитан на GPU NVIDIA Blackwell, а FP8-чекпоинты предназначены для карт поколений Hopper и Ampere.

Отдельным файлом идёт черновик для спекулятивного декодирования DFlash2: он предлагает до 15 токенов вперёд, а модель проверяет их за один прямой проход.

Из возможностей модели авторы поста перечисляют сохранение рассуждений между ходами (preserve_thinking), вызов инструментов с отдельной грамматикой, шаблон ответа внутри токенизатора и пять значений усилия рассуждений: low, medium (по умолчанию), high, xhigh и max.

Вместе с чекпоинтами идёт харнесс на Rust, написанный под эту модель. Reflection описывает его подробнее как Mirror CLI: терминальный агентный харнесс, который умеет указывать на разные чекпоинты и эндпоинты, показывает активность агента и позволяет подтверждать вызовы инструментов, поддерживает возобновляемые диалоги и параллельных агентов в отдельных worktree, а расширяется инструкциями проекта, навыками, подключениями MCP и Python-расширениями.

Как запускать: transformers, vLLM, SGLang

Поддержка объявлена «нулевого дня»: transformers, SGLang и vLLM работают с моделью сразу. В transformers нужна версия не ниже 5.20.1, а самый простой путь — конвейер text-generation с моделью reflection/Beam-1.0-501B-A23B или, на уровень ниже, AutoModelForCausalLM и AutoTokenizer; метод parse_response разбирает ответ на рассуждение, содержательный ответ и вызовы инструментов.

Для нескольких устройств конфигурация модели задаёт план экспертного параллелизма: каждый эксперт живёт на одном устройстве, а внимание, плотные слои, эмбеддинги и выход головы дублируются на всех — это 8 млрд параметров, или 16 ГБ в BF16. В примере запуск идёт через torchrun на 16 GPU H200: тогда на каждом устройстве остаётся 78 ГБ весов, тогда как при восьми устройствах пришлось бы держать 139 ГБ, что не помещается в 141 ГБ H200; число устройств обязано делить 256 экспертов.

В vLLM модель поднимается одной командой с тензорным параллелизмом на 16 GPU и открывает API, совместимый с OpenAI; для ускорения генерации добавляется спекулятивное декодирование DFlash2. В SGLang рекомендованный вариант — NVFP4 на четырёх B300 либо FP8 на восьми H200, в обоих случаях с длиной контекста 1 048 576 токенов, парсерами инструментов и рассуждений Beam и спекулятивным алгоритмом DFLASH.

Если своего железа нет, модель доступна через Hugging Face Inference Providers на Baseten, Fireworks и Together с OpenAI-совместимым адресом router.huggingface.co/v1, а также разворачивается в Inference Endpoints в один клик в вариантах FP8 или NVFP4 — в том числе командой hf endpoints catalog deploy. Reflection описывает свой список поддержки шире: Transformers, vLLM (Inferact), SGLang (RadixArk), Unsloth, Axolotl, TokenSpeed (LightSeek Foundation) и Dynamo (NVIDIA).

Сколько железа нужно

Самым практичным способом обслуживания HF называет NVFP4-чекпоинт: он сохраняет большую часть качества BF16, но сжимает модель до примерно 280 ГБ, однако GPU старше Blackwell работать с NVFP4 не умеют — им нужен FP8.

У B200 180 ГБ памяти HBM3e, поэтому две карты (360 ГБ) формально удерживают веса, но оставляют мало места под активации и KV-кэш; публикация советует планировать четыре B200 (720 ГБ), а также называет варианты на полной ноде из восьми B200, на двух B300 по 288 ГБ или на восьми RTX Pro 6000. Без Blackwell предлагается тестировать модель через Inference Providers.

Что внутри: слои, эксперты и KV-кэш

Декодер состоит из 52 слоёв со скрытым размером 5 120. Большинство слоёв смотрят на скользящее окно в 512 предыдущих токенов, а каждый шестой слой и последний видят весь контекст: получается 43 скользящих слоя и 9 глобальных. Позиции в них обрабатываются по-разному: скользящие используют RoPE, глобальные не используют позиционного кодирования вовсе, а вместо него масштабируют запрос множителем (1 + (pos + 1) / 2048) в степени 0.1. Внимание построено на групповых запросах: 48 голов запроса и 8 голов ключ-значение.

Первые три слоя используют плотный SwiGLU, остальные 49 заменяют его блоком смеси экспертов из 256 экспертов — каждый со своим SwiGLU и промежуточным размером 2 560, то есть примерно 39 млн параметров, а всего эксперты держат 98,4% параметров модели. Маршрутизатор повторяет групповую схему DeepSeek-V3: он оценивает все 256 экспертов сигмоидой, делит их на 8 групп по 32, оставляет четыре лучшие группы и выбирает восемь лучших экспертов внутри них — общего эксперта, в отличие от DeepSeek-V3, нет, а сумма выходов масштабируется на 2.5.

Самое заметное отличие — остаточный поток: на шаге k выход подслоя добавляется с весом 1/sqrt(k), а уже накопленный поток сохраняется с весом sqrt((k-1)/k), так что сумма квадратов весов равна единице и масштаб потока не растёт от первого слоя к последнему.

Гибридное внимание экономит память под длинный контекст: каждый слой кэширует 2 048 значений на токен, но только девять глобальных слоёв хранят всю последовательность, а 43 скользящих держат фиксированное окно и перестают расти. В итоге кэш растёт на 36 КиБ на токен вместо 208 КиБ: для контекста в 1M токенов это 36,08 ГиБ против 208 ГиБ.

Бенчмарки — как их привела Hugging Face

Отдельный раздел поста — результаты по трём точностям, и HF прямо пишет, что числа предоставила команда Reflection. В агентном программировании Beam показывает 43,3% на DeepSWE v1.1 в BF16 (43,0% в FP8 и 42,7% в NVFP4), 76,5% на SWE Bench Pro v2-Hard (78,4% и 78,6%), 80,1% на Terminal Bench v2.1 (78,9% и 78,2%) и 81,6% на SWE-bench Verified (80,2% и 80,7%).

В рассуждениях указаны 97,7% на AIME 2026 (98,0% и 97,5%), 36,0% на HLE без инструментов (36,0% и 34,8%) и 51,1% на HLE с инструментами во всех трёх вариантах, 49,2% на SciCode (48,3% и 46,9%), 90,6% на GPQA Diamond (90,3% и 89,3%) и 88,3% на LiveCodeBench (88,1% и 87,4%). В блоке вызова инструментов приведены 80,8% на MCP Atlas (81,5% и 80,5%), 36,1% на Tau3 Banking (36,8% и 35,4%) и 76,8% на BrowseComp с управлением контекстом (76,7% и 75,6%).

HF честно оговаривает статус этих цифр: они приведены как есть от команды Reflection и независимой перепроверки в публикации нет.

Что проверяла сама Hugging Face

Отдельный раздел посвящён пяти прогонам, которые HF сделала сама через платформу Reflection — по одному на низком и высоком усилии рассуждений. HF называет это «vibe evals» и подчёркивает, что это не бенчмарки.

Многошаговый вызов инструментов прошёл на обоих уровнях усилия (544 и 811 токенов), терминальная задача в песочнице — тоже (582 и 1 548), структурированный вывод — тоже (1 040 и 2 088). Задача в стиле AIME на низком усилии дала верный ответ без требуемого обоснования (829 токенов), на высоком — верное доказательство с независимой проверкой (2 809). Единственная осечка — извлечение из кодовой базы: на низком усилии ответ был верным и все шесть ссылок на символы кода нашлись, но формат не совпал с ожидаемым парсером, что авторы частично относят к неоднозначности запроса; на высоком усилии та же задача прошла (1 613 и 5 007 токенов).

Дообучение: SFT, LoRA и RL

Для дообучения приведены рецепты на TRL и Miles. Самый быстрый путь — обучение LoRA-адаптеров через SFTTrainer вместо обновления всех 501 млрд параметров: одна нода с восемью B300 даёт около 19 000 токенов в секунду, а на H100 той же задачи нужны четыре ноды. В примере модель адаптировали к одной цели — сохранять язык рассуждений, заданный пользователем: после одной эпохи на Multilingual-Thinking Beam рассуждала на нужном языке в 16 из 16 отложенных примеров против 3 из 16 у базовой модели.

Полноценный RL описан как рецепт GRPO в Miles, собранный Reflection вместе с RadixArk: обновлять можно всю модель или только LoRA-адаптеры, генерацию роллаутов ведёт SGLang, а веса публикуются в движки после каждого обновления. Для полного обновления в BF16 приводится конфигурация на 96 GPU H200 (64 на обучение, 32 на роллауты) или 64 H200 совместно, для LoRA GRPO — 32 H200 (16 на обучение, 16 на роллауты); рецепт крутится на DAPO-Math-17K с измерением на AIME25, а LoRA обучает адаптеры ранга 16 на слоях внимания, плотного MLP и экспертов.

Reflection добавляет к этому масштаб своих экспериментов: в самых больших RL-прогонах при обучении Beam использовалось около 1,3 млрд песочниц на обучение, оценку и абляции, а наработки уходят в открытый стандарт OpenEnv.

Демонстрации и конкурс

Reflection обещает 10 000 долларов Hub-кредитов лучшим проектам на Beam: участнику достаточно собрать демонстрацию, квантованную версию, синтетический набор данных, окружение для RL или набор измерений и поделиться им на хабе.

Три собственных демонстрации описала Hugging Face. Первая — нативное приложение диктовки для macOS: распознавание речи целиком локально (модель Parakeet через MLX), вставка текста в исходное приложение, переход на буфер обмена, если фокус потерян; собиралось это харнессом Pi. Вторая — исследование мультиагентности на ProgramBench: три схемы (один агент, пять постоянных партнёров через общий git-репозиторий и ведущий агент с асинхронными подагентами) при одинаковом лимите в 8 млн токенов API и двух часах на задачу. Третья — дообучение небольшой decision-модели для маршрутизации инцидентов: точность выросла с 4,69% у подсказанной без примеров модели до 76,25%, а средняя задержка упала с 1 218,06 мс до 102,58 мс, то есть в 11,9 раза.

Reflection со своей стороны говорит об экосистеме «более 40 партнёров и интеграций» и приводит примеры ранних пользователей — от escape room, собранного в CoreWeave Sandbox, до сравнения игр, сделанных одной и той же подсказкой в OpenCode.

Чего в релизе нет и что оговорено

Модель только текстовая: на входе и на выходе текст, изображения и звук не заявлены. Бенчмарки приведены в формулировке «как предоставлено командой Reflection» и независимо не перепроверялись, а собственные проверки HF — это «vibe evals», по одному прогону на задачу, а не статистика.

NVFP4-чекпоинт работает только на Blackwell, для более старых GPU нужен FP8. Готовый серверный доступ перечислен для трёх провайдеров, о дополнительных сказано «скоро» без сроков, и никаких цен на API в публикации нет. В примере на transformers идентификатор модели указан как reflectionai/Beam-1.0-501B-A23B, тогда как в остальных командах и в репозитории используется reflection/Beam-1.0-501B-A23B.