«FP8 на ml.p5.48xlarge, NVFP4 на ml.p6-b200.48xlarge»: AWS открыла Reflection Beam в SageMaker JumpStart

Что объявила AWS

Публикация в блоге AWS Machine Learning от 16 октября 2026 года сообщает, что Reflection Beam — открытая модель Reflection AI для агентного кодинга и длинных задач, таких как сопровождение кода, вызов инструментов и разбор их результатов, — доступна в Amazon SageMaker JumpStart. Формулировка про старт точная: «At launch, Beam is available in Amazon SageMaker JumpStart in US East (N. Virginia) and US East (Ohio)», то есть названы ровно два региона США — Восточная Вирджиния и Огайо.

Публикация предлагает два пути развёртывания: полностью управляемый real-time endpoint в SageMaker JumpStart — без эксплуатации Kubernetes — и SageMaker HyperPod Inference, где заказчик получает контроль над распределённой GPU-инфраструктурой в кластере под управлением Amazon EKS. На HyperPod можно взять управляемый контейнер JumpStart или поставить Beam на SGLang либо vLLM, если нужен свой runtime.

Авторов у материала семь, и они представляют обе стороны: Clement Perrot (Founding Applied AI в Reflection AI) и Florent Gbelidji (Open Source Engineering Lead в Reflection AI), а Hadrien Almela, Daniel Quang, Dan Ferguson, Sureshkumar Natarajan и Daniel Wirjo — со стороны AWS. Размечен текст как «Advanced (300)» и «Technical How-to» в разделах Amazon SageMaker AI и Amazon SageMaker HyperPod, то есть это пошаговое развёртывание, а не описание самой модели.

Что такое Beam по этой публикации

Модель описана как разреженная смесь экспертов с 501 млрд параметров всего и 23 млрд активных на каждый токен; Reflection заявляет эффективную длину контекста в 1 млн токенов. Веса опубликованы на Hugging Face под лицензией Apache 2.0, а Beam 1.0 существует в трёх вариантах чекпоинта — BF16, FP8 и NVFP4 — с разным объёмом памяти и совместимостью с железом.

Из этого AWS выводит практическое следствие для развёртывания: 501 млрд параметров определяют хранение чекпоинта, память под веса, шардирование и параллелизм, тогда как 23 млрд активных влияют на вычисления на каждый токен. Иными словами, разреженная активация снижает счёт, но не отменяет требований к памяти под все параметры сразу.

Отдельно названы источники чекпоинта: SageMaker JumpStart, Hugging Face Hub и необязательное зеркало в Amazon S3.

Два пути: управляемый endpoint и HyperPod

Путь через JumpStart описан как самый короткий: AWS управляет пакетом модели, endpoint'ом и API вызова, заказчику остаётся выбрать версию модели, поддерживаемый тип инстанса, конфигурацию endpoint'а и политику масштабирования.

HyperPod Inference нужен там, где требуется управлять runtime: заказчик закрепляет образ runtime, аргументы запуска, парсеры, квантование и настройки распределённого исполнения. В этом режиме доступны кэширование модели и образа — веса предварительно раскладываются на локальный NVMe узлов, а serving-образ скачивается заранее. За маршрутизацию запросов между репликами отвечает Inference Gateway с OpenAI-совместимым интерфейсом, поддержаны также управляемое многоуровневое кэширование KV и интеллектуальная маршрутизация из релизов Amazon SageMaker Inference 2026 года.

AWS советует готовить артефакты воспроизводимо: держать публичный SHA коммита Beam и дайджест образа в конфигурации релиза, а образ переносить в приватный Amazon ECR только если кластер не может забрать исходный или организация требует свой реестр. Для разработки предлагается закреплённая ревизия из Hugging Face Hub, для продакшена и кэширования — копия чекпоинта в S3 или Amazon FSx.

Железо выбирает точность весов

501 млрд параметров требуют много-GPU развёртывания, и публикация прямо предупреждает, что вариант BF16 имеет наибольший объём весов в памяти, поэтому для него планируют многоузловую конфигурацию с запасом на служебные расходы.

Дальше соответствие задано явно: для FP8 предлагаются ml.p5.48xlarge с ускорителями NVIDIA H100 либо ml.p5e.48xlarge и ml.p5en.48xlarge с H200, для NVFP4 — ml.p6-b200.48xlarge с NVIDIA B200. Перед развёртыванием AWS советует убедиться, что выпущенный чекпоинт, runtime и схема параллелизма поддерживают выбранный тип инстанса, что регион его предоставляет и что квота позволяет занять нужную ёмкость.

Про оплату сказано косвенно, но однозначно: использовать on-demand, когда ёмкость есть, либо тренировочный план SageMaker как краткосрочную резервацию под плановые работы, и заложить время на передачу образа, скачивание весов, загрузку шардов и инициализацию runtime.

Как это разворачивают: команды из публикации

Для пути JumpStart предлагается пример в репозитории aws-samples/sagemaker-genai-hosting-examples: его клонируют, переходят в каталог 01-models/ReflectionAI/Beam-1.0-501B-A23B-NVFP4/, создают виртуальное окружение и ставят зависимости, после чего одной командой разворачивают, проверяют и удаляют endpoint. Команда выглядит так: python jumpstart_real_time.py --variant fp8 --endpoint-name reflection-beam-fp8-smoke; она разворачивает FP8-endpoint, отправляет короткий запрос, печатает ответ и удаляет endpoint. Варианты bf16 и nvfp4 переключаются тем же ключом, а NVFP4 подставляется по умолчанию, если --variant не указан вовсе.

Для HyperPod последовательность длиннее: сначала настраивают доступ kubectl к кластеру EKS с HyperPod Inference Operator и нужными аддонами, готовят VPC, подсети и группы безопасности, а также локальный NVMe, если включается кэширование модели; при закрытом репозитории используется отдельный токен Hugging Face. Затем клонируют тот же репозиторий, переходят в каталог SageMakerHyperpod/reflection-beam/, копируют файлы конфигурации из примеров и работают утилитой hyperpod_tool.py: подкоманда validate проверяет настройки, deploy разворачивает с фиксированным таймаутом (--timeout-seconds 1800), а выбор sglang или vllm определяет runtime. Шаблоны манифестов названы поимённо — reflection-beam-jumpstart.yaml, reflection-beam-sglang.yaml и reflection-beam-vllm.yaml.

Проверка работоспособности описана как smoke-тест с приватным health-check и коротким запросом при рекомендованных настройках сэмплинга — температуре 1.0 и top-p 0.7; утилита выбирает готовый воркер, открывает временный port-forward, проверяет здоровье, отправляет запрос и закрывает соединение.

Что именно измерять, AWS тоже перечисляет: долю успешных запросов, p50 и p95 времени до первого токена, время на выходной токен, сквозную задержку и суммарные выходные токены в секунду, а менять по этим числам — размер батча, выделение KV-кэша, число реплик, автоскейлинг и кэширование. После смены точности или квантования качество ответов предписано перепроверять.

Что остаётся на стороне заказчика

Требования к аккаунту названы прямо: права на выбранный путь развёртывания вместе с поддерживающими ресурсами IAM, сети и хранилища, доступ к Beam через SageMaker JumpStart или к репозиторию чекпоинта на Hugging Face, принятие условий модели, установленный AWS CLI, Python 3.11 или новее и квота GPU под поддерживаемую конфигурацию.

Платить придётся за всё время жизни ресурсов, поэтому в публикации есть отдельный раздел об удалении: предлагается убрать созданный под проход кластер HyperPod или Amazon EKS, неиспользуемые кэшированные веса, отзеркаленные артефакты, балансировщики, группы логов, временные роли IAM и сохранённые данные вывода. Токены, сгенерированные секреты, приватные идентификаторы моделей, учётные данные реестра и непубликованные результаты просят не держать в репозитории.

Чего это сообщение не доказывает

Замеров производительности в публикации нет: ни токенов в секунду, ни задержек, ни времени ответа ни для JumpStart, ни для HyperPod — вместо чисел предлагается провести собственный нагрузочный тест по перечисленным метрикам.

Цен тоже нет: ставки не названы ни для одного из инстансов, включая ml.p5.48xlarge, ml.p5e.48xlarge и ml.p6-b200.48xlarge, поэтому стоимость часа работы по этому тексту посчитать нельзя.

Характеристики «для агентного кодинга» и «эффективный контекст 1 млн токенов» — это то, что Reflection сообщает о своей модели, повторённое AWS; независимых сравнений качества в публикации не приводится.

Наконец, про доступность сказано только про два региона США, а появление модели в каталоге подтверждается исключительно страницей AWS — стороннего подтверждения факта публикации в тексте нет.