«DGX Spark Handbook»: как из настольных блоков NVIDIA собирают локальный инференс на 512 ГБ

От скепсиса к рабочей конфигурации

Автор признаёт, что сначала не был поклонником машины: несмотря на 128 ГБ памяти, полоса 273 ГБ/с казалась ему слишком низкой — у RTX 5090 примерно в 6,5 раза больше при 32 ГБ видеопамяти. Отдельно он отмечает, что «DGX Spark изначально стоил $3,999, а потом цену подняли до $4,699». Переломным моментом стали два изменения в индустрии: sparse-модели Mixture-of-Experts и спекулятивное декодирование.

Смысл первого изменения в том, что MoE-модели активируют лишь часть параметров на каждый токен, поэтому хорошо ложатся на невысокую полосу памяти локального блока. Второе — это модели-помощники MTP, DSpark и DFlash2: маленький быстрый помощник угадывает несколько слов вперёд, а большая модель проверяет их за одно чтение памяти, и всё это ценой 1–2 ГБ памяти. Вместе они, по словам автора, перевели локальный инференс через порог полезности.

Скорость одного пользователя при этом сопоставима с облачной: один Spark обслуживает восемь и более запросов одновременно, сохраняя разговорный темп. Пример автора — Qwen3.6-35B, который держит до восьми одновременных сессий примерно по 40 tok/s каждая, тогда как, по его словам, «на подписке ChatGPT Pro модель GPT-6-Astra работает в среднем на 37 tok/s».

Блоки складываются: 128, 256, 384 и 512 ГБ

Каждый DGX Spark несёт сетевую карту ConnectX-7 с двумя портами QSFP, каждый из которых рассчитан на 200 Гбит/с. Официальная документация подтверждает: порт даёт до 200 Гбит/с, и кабель быстрее этого смысла не имеет, потому что сам порт ограничен этой скоростью. При tensor parallelism каждая матрица весов делится между блоками, и каждый блок читает только свою долю из собственной памяти одновременно с остальными, поэтому скорость чтения складывается.

Память складывается так же: 128 ГБ на блок, 512 ГБ на четыре, причём около 120 ГБ на блок реально доступно под модели. Автор приводит три ступени: три блока дают около 384 ГБ, четыре — около 512 ГБ. Полоса чтения, по ссылке автора на собственный тест NVIDIA, растёт до 546 ГБ/с на двух блоках, 819 ГБ/с на трёх и 1 092 ГБ/с на четырёх.

Спецификация NVIDIA для одиночного блока — 128 ГБ LPDDR5x с полосой 273 ГБ/с, два порта QSFP под ConnectX-7 и поддержка моделей до 200 млрд параметров, а для пары блоков — до 405 млрд. Блок питания внешний, на 240 Вт. Блог NVIDIA для разработчиков фиксирует следующий шаг: масштабирование расширено с двух до четырёх узлов, что доводит память до 512 ГБ и позволяет обслуживать модели до 700 млрд параметров. По данным самой NVIDIA, tensor parallelism даёт почти линейный рост времени на выходной токен: около 2× на двух узлах и около 4× на четырёх. Дообучение масштабируется близко к линейному, если экземпляр модели помещается на одну GPU.

Цена, шум и электричество

Цифры по цене в гандбуке описывают нестабильный рынок: NVIDIA продавала основателя Founders Edition за $3,999 и подняла цену до $4,699, но к 21 сентября автор видел на сайте NVIDIA цену $7,999 за ту же коробку, которую пятью неделями раньше купил за $4,699. Магазин NVIDIA, по его наблюдению, распродан: самый дешёвый вариант — около $5,000, а подержанные уходят примерно по $6,000. Практический совет автора при этом не зависит от бренда: подойдёт любая коробка на GB10, а вот размер SSD стоит выбирать сразу с запасом.

По электричеству один Spark под нагрузкой потребляет примерно 90–200 Вт. Четыре блока вместе — около 500 Вт, плюс коммутатор примерно на 240 Вт, и всё это укладывается в одну розетку. Автор отдельно оговаривает, что 22–25 Вт в простое и 90 Вт под обслуживанием — разные измерения из разных источников, и что круглосуточная работа на полной нагрузке стоила бы $66–100 в месяц при 18 центах за кВт·ч.

Маршрут от одного блока до четырёх

Первая ступень — один Spark: автор советует начать с LM Studio и Qwen3.6-35B, а затем перейти на рецепты на vLLM или SGLang, которые быстрее и умеют обслуживать несколько агентов сразу. В его таблице рецепт Qwen3.6-35B в 4-битном NVFP4 даёт 95 tok/s одному пользователю и 317 суммарно на восьми. Вторую ступень он рекомендует как основную: два блока и один короткий QSFP-кабель, при этом важно, что соединение всё равно работает на 200 Гбит/с независимо от цены кабеля, а USB-C и порт 10 GbE для этого не подходят.

Третья ступень обходится без коммутатора: каждый Spark имеет два порта QSFP, поэтому три блока соединяются треугольником, что NVIDIA поддерживает как switchless ring. Четвёртая ступень — либо 200-гигабитный коммутатор, либо кольцо без коммутатора; во втором случае автор предупреждает, что SparkRing — это alpha-софт, и версию нужно фиксировать. Он также честно называет слабое место всей схемы: «связывание Sparks работает, но именно там софт отполирован меньше всего — следуйте проверенному рецепту и заложите первый раз полдня».

Где Spark силён: чтение промптов

Автор разделяет две работы модели: prefill — чтение промпта, где ограничение в вычислительной мощности, и decode — написание ответа, где ограничение в скорости памяти. Spark, по его измерениям, читает промпты в 13–41 раз быстрее, чем пишет: DeepSeek-V4.1-Flash на четырёх блоках выдаёт 3 360 tok/s на промпте в 32K токенов и 3 273 tok/s на 131K, тогда как запись остаётся в районе 70–95 tok/s. Именно поэтому свою работу над квантизацией, прунингом и проверкой качества моделей автор перенёс на Sparks, оставив быстрые GPU под инференс.

Ограничения материала тоже названы прямо: скорости — это измерения одного автора и сторонних рецептов, а не независимый бенчмарк. NVIDIA-овский SPEED-Bench на Sparks автор не запускал. Некоторые модели делятся ровно на два или четыре блока, поэтому перед покупкой третьего он советует проверить, поддерживает ли рецепт режим «3x». Вывод гандбука простой: «Spark — это коробка памяти: она держит большие модели, работает тихо от домашней розетки и становится лучше с каждым добавленным блоком».