NVIDIA заявила 30-кратный рост энергоэффективности Vera Rubin для AI-агентов

Эффективность измеряют на полной траектории агента

NVIDIA опубликовала первые on-silicon результаты Vera Rubin NVL72 на agentic inference. По измерениям компании, новая rack-scale система обеспечивает до 30 раз больший throughput на мегаватт, чем GB300 NVL72, при выполнении длинных агентных задач. В качестве нагрузки использован SemiAnalysis AgentX: набор записанных coding trajectories, где сохранены рост контекста, tool calls и запуск sub-agents. Такой тест оценивает не единичный запрос, а всю последовательность действий до завершения работы.

Для инфраструктуры это важная смена единицы измерения. Обычный chat или summarization часто укладывается в 1–8 тысяч входных и выходных токенов, тогда как агентная сессия постепенно накапливает сотни тысяч входных токенов. Каждый следующий шаг получает результаты предыдущих, поэтому стоимость и latency определяются не только скоростью генерации, но и тем, насколько эффективно система повторно использует уже обработанный контекст.

30 раз на мегаватт — заявленный максимум, а не универсальная гарантия

Максимальный разрыв NVIDIA получила на модели DeepSeek V4 Pro: Vera Rubin NVL72 подняла Pareto curve до 30-кратного преимущества по throughput на мегаватт относительно GB300 NVL72. Компания отдельно уточняет, что это ранние результаты, измеренные ею самой на AgentX и ещё ожидающие review со стороны SemiAnalysis. В тест также пока не включён вклад Vera CPU в исполнение tools, поэтому показатель нельзя автоматически переносить на любой production workload.

Сравнение строится с уже сильной базой. По данным NVIDIA, GB300 NVL72 на той же модели обеспечивает до 15 раз лучший throughput на мегаватт, чем Hopper. Новое поколение должно добавить ещё один крупный шаг, однако обе цифры являются vendor benchmarks. Для покупателя значим не только peak result, а положение собственной нагрузки на кривой: длина prompt, скорость decode, частота cache hits, степень параллелизма и реальный power envelope способны заметно изменить итог.

Стоимость токена связывают с энергетическим пределом

NVIDIA также заявляет до 35 раз меньшую стоимость миллиона токенов по сравнению с GB300 NVL72. Логика расчёта прямая: если дата-центр ограничен доступной мощностью, больше полезного agentic throughput на тот же мегаватт увеличивает объём обслуживаемой работы, а меньшая стоимость токена расширяет маржу. Это особенно существенно для агентов, которые могут непрерывно искать, вызывать tools и запускать дополнительные модели, создавая намного больше токенов, чем обычный диалог.

В исходном материале приведена оценка OpenRouter: agentic workloads используют примерно в 15 раз больше токенов, чем простой chat request. NVIDIA иллюстрирует это инвестиционным исследованием, где агент обращается к финансовым базам, ищет новости и filings, поручает sub-agent сравнение компаний и valuation, а затем синтезирует вывод. Такая цепочка показывает, почему оптимизация одной короткой генерации уже недостаточна для оценки экономики agentic systems.

Prefill и decode разводят по разным ресурсам

Архитектура Vera Rubin опирается на disaggregated serving: обработка контекста, или prefill, отделяется от генерации ответа, или decode, чтобы обе стадии масштабировались независимо. Rate matching согласует их скорость, а large-scale expert parallelism распределяет expert sub-networks MoE-моделей по scale-up домену. Для длинных сессий distributed KV-cache и offloading сохраняют ранее вычисленный контекст в GPU, host memory и storage вместо повторной обработки.

KV-aware routing направляет новый запрос на GPU, где уже находится нужный cache, а fused CUDA kernels вроде MegaMoE объединяют вычисления и межпроцессорный обмен в один проход. NVIDIA связывает эти методы с Tensor Cores пятого поколения, Transformer Engine третьего поколения и NVFP4 quantization. Последняя уменьшает representation весов до 4-bit precision, снижая memory footprint и повышая throughput; утверждение об отсутствии потери качества при этом принадлежит самой компании и требует проверки на конкретной модели.

NVL72 делает память и interconnect частью inference

Большой scale-up домен NVL72 нужен не только для размещения GPU. Он обеспечивает low-latency обмен, без которого distributed KV-caching и expert parallelism теряют эффективность. NVIDIA утверждает, что NVLink шестого поколения и NVLink Switches дают в десять раз более высокую packet rate и втрое меньшую latency, чем off-the-shelf Ethernet alternatives. Это сравнение относится к специализированному внутреннему interconnect, а не ко всей сети дата-центра.

Software layer включён в тот же codesign: оптимизированные CUDA kernels, TensorRT LLM и NVIDIA Dynamo должны согласованно управлять размещением и исполнением inference. Отдельно DSX MaxLPS распределяет мощность между GPU, стойкой и workload; компания заявляет, что технология позволяет разместить до 40% больше GPU в том же мегаваттном бюджете. Практическая выгода зависит от ограничений охлаждения, питания и профиля нагрузки конкретной AI factory.

Как проверять обещанный выигрыш перед закупкой

Vera Rubin — семичиповая платформа: кроме Rubin GPU в неё входят Vera CPU, Groq 3 LPU, NVLink 6 Switch, BlueField-4 DPU, Spectrum-6 SPX и ConnectX-9 SuperNIC. NVIDIA сообщает, что платформа находится в full production и масштабируется через партнёрскую экосистему. Однако опубликованный 30-кратный результат относится к определённой модели, AgentX workload и текущей конфигурации; это не сводная характеристика всего стека на каждой задаче.

Корректный пилот должен воспроизводить реальные trajectories: рост контекста, пропорцию prefill/decode, tool latency, cache reuse и power draw всей стойки. Затем стоит считать завершённые задачи на мегаватт и полную стоимость успешной trajectory, а не только tokens per second. До независимого review SemiAnalysis и появления подробной методики цифры NVIDIA следует воспринимать как сильный ориентир для тестирования, но не как гарантированный коэффициент экономии.