ТЕХНОЛОГИИ
Энергетическая архитектура дата-центров с ИИ становится проблемой для руководства
Рост плотности стоек и объём рабочих нагрузок агентов заставляет команды по инфраструктуре ИИ пересматривать способы подачи энергии, тепловую нагрузку, подключение к сети и наблюдаемость за энергопотреблением.
Патрик Т ·
AI центр обработки данных Энергетическая архитектура переходит из разряда инженерных деталей в ограничение для совета директоров. Крупнейшие нагрузки ИИ влияют на плотность стоек, перепады тока и тепловые нагрузки, выходя за пределы допущений, которые работали для старых моделей облачных вычислений.
Непосредственная проблема — это плотность. Современные кластеры ИИ объединяют ускорители, память с высокой пропускной способностью, сетевые и накопительные системы в устройствах, которые потребляют гораздо больше энергии на шкаф, чем традиционные корпоративные серверы. Это создаёт проблемы на всех этапах вверх по цепочке: преобразование и распределение энергии, охлаждение, системы резервного питания, проектирование объектов и подключение к сети.
Недавняя волна технических исследований сосредоточена на том, могут ли традиционные архитектуры низкого напряжения справляться с нагрузками искусственного интеллекта следующего поколения. Ответ все чаще оказывается положительным, но только при значительных изменениях, включая преобразование на более высокое напряжение, варианты распределения постоянного тока, твердотельные трансформаторы и более тесную координацию между проектированием объектов и стоек.
Это имеет значение для стратегии, потому что дорожные карты моделей теперь зависят от графиков строительства и электроснабжения. У компании могут быть заказаны микросхемы, но она всё равно может испытывать узкие места из-за трансформаторов, подстанций, коммутационного оборудования, очередей в сети или систем охлаждения, которые не могут справиться с запланированной нагрузкой.
Проблема с энергопотреблением также имеет слой измерения. По мере распространения агентных нагрузок становится сложнее определить, на что расходуется энергия, потому что один запрос пользователя может вызвать планирование, вызовы инструментов, повторные попытки, выполнение кода, поиск, суммирование и последующее рассуждение. Без лучшей телеметрии компании могут не знать, какие рабочие процессы являются дорогостоящими или неэффективными.
Эта слепая зона имеет значение для затрат, учёта углерода и проектирования продукта. Если агент потребляет в несколько раз больше энергии для выполнения линейной задачи из-за того, что он зацикливается, повторяет попытки или неэффективно вызывает инструменты, команде продукта необходимо это видеть. Если оборудование предоставляет только частичные данные о потреблении энергии, оптимизация превращается в угадывание.
Следующий этап инфраструктуры ИИ, следовательно, будет более интегрированным. Команды по разработке чипов, команды по созданию моделей, продуктовые команды и команды по работе с объектами больше не могут работать как отдельные миры. Архитектура модели влияет на потребность в вычислительных ресурсах. Потребность в вычислительных ресурсах влияет на энергопотребление и охлаждение. Энергопотребление и охлаждение влияют на то, где и когда модели могут масштабироваться.
Для инвесторов урок заключается в том, что качество капитальных затрат важнее, чем их общий объем. Тратить миллиарды на инфраструктуру ИИ не является автоматически стратегически правильным решением, если архитектура питания не может поддерживать будущую плотность или если использование энергии невозможно измерить достаточно точно для оптимизации.
Бум ИИ продолжает описываться как гонка за интеллектом. В то же время это также гонка за ток, напряжение, системы охлаждения и способность использовать каждый ватт максимально эффективно.
Темы: центры обработки данных ИИ, подача энергии, плотность стоек, энергия