ТЕХНОЛОГИИ
Память HBM становится скрытым узким местом в гонке передовых ИИ
Память с высокой пропускной способностью становится одним из самых важных ограничений в переднем крае ИИ. GPU получают заголовки, но стек памяти всё чаще определяет, кто сможет создавать и обслуживать следующее поколение моделей.
Майкл Г ·
Память с высокой пропускной способностью становится одним из скрытых узких мест в гонке ИИ. GPUs получают большую часть общественного внимания, но передовые системы зависят от пропускной способности памяти, чтобы достаточно быстро обеспечивать ускорители. Без достаточного объема HBM даже лучшая дорожная карта чипов может замедлиться.
Рынок это заметил. Поставщики памяти, литейные фабрики, упаковочные компании и покупатели облачных услуг теперь являются частью одного стратегического диалога. Инфраструктура ИИ — это системная проблема, и память находится близко к центру этой системы.
Пропускная способность важнее сырой мощности
Большие модели перемещают огромные объемы данных во время обучения и inference. Важна сырая ёмкость памяти, но пропускная способность и упаковка определяют, насколько загружены ускорители. Кластер с дорогими чипами и недостаточной производительностью памяти тратит капитал впустую.
Вот почему поставки HBM зависят от геополитики. Ведущее производство памяти опирается на небольшой набор компаний и возможности по передовой упаковке. Правила экспорта, обязательства перед клиентами и решения о распределении мощностей фабрик могут определять, кто получит достаточно компонентов для масштабного производства.
Стек сужается
Цепочка поставок ИИ сужается вокруг нескольких критически важных компонентов: ускорителей, HBM, усовершенствованная упаковка, networking, мощность и охлаждение. Любой из этих факторов может стать ограничивающим. Инвесторы, которые отслеживают только отгрузки GPU, упускают часть картины.
Темы: HBM, полупроводники, чипы для ИИ, память