Безопасность
Энергетическая слепая зона Edge AI выявляет проблему ответственности аппаратного обеспечения
По мере того как агентский ИИ переходит на настольные и периферийные системы, неполная энергетическая телеметрия может затруднить измерение реальной стоимости многошаговых ИИ-рабочих процессов.
Автор: Лео В ·
У Edge AI есть проблема с учётом энергии. По мере того как агентные рабочие нагрузки переходят с облачных API на настольные компьютеры, рабочие станции и локальные AI-устройства, пользователи могут не иметь возможности измерить, какие процессы фактически потребляют энергию.
Проблема не в том, что локальные системы ИИ используют энергию. Любые вычисления используют энергию. Проблема заключается в наблюдаемости. Если оборудование предоставляет только частичные данные о потреблении энергии, разработчики не могут надежно сопоставить использование энергии с конкретной моделью, рабочим процессом агента, вызовом инструмента или приложением.
Это важно, потому что агентные рабочие процессы не являются простым однократным выводом. Один запрос пользователя может запускать планирование, поиск, выполнение кода, повторные попытки, чтение файлов, суммирование и проверку. Два приложения могут давать схожие ответы, потребляя при этом очень разное количество энергии, потому что одно работает неэффективно в цикле или слишком часто вызывает инструменты.
Без данных об энергопотреблении на уровне процессов оптимизация превращается в гадание. Команды по продукту могут видеть задержки и, возможно, потребление GPU. Они могут не видеть энергопотребление со стороны CPU, влияние памяти, накладные расходы в режиме ожидания или стоимость оркестрации. Это усложняет проектирование эффективных агентов и отчетность предприятий о фактическом энергопотреблении ИИ.
Сравнение с безопасностью полезно. В конечном итоге предприятия поняли, что они не могут управлять программным обеспечением без журналов, инвентаризации и следов идентификации. Потребление энергии ИИ может потребовать аналогичной дисциплины: счетчики оборудования, отчеты о времени выполнения, атрибуция на уровне рабочих процессов и стандарты, которые делают измерения воспроизводимыми.
Это не только экологическая проблема. Это также вопрос стоимости и качества продукта. Если агент тратит энергию на ненужные повторные попытки, это также является признаком ненадежности. Если локальная рабочая станция ИИ не может сказать команде, какой рабочий процесс вызвал пиковую нагрузку, системе сложнее проводить отладку.
Поставщики могут сопротивляться раскрытию большего объема телеметрии, поскольку это добавляет сложности, выявляет неприятные неэффективности или требует координации между уровнями ЦП, ГП и микропрограммой и операционной системой. Но покупатели будут все больше требовать этого по мере того, как ИИ внедряется в регулируемые, чувствительные к затратам и ориентированные на устойчивое развитие среды.
Следующее поколение аппаратного обеспечения ИИ будет оцениваться не только по количеству токенов в секунду. Его будут оценивать по тому, сможет ли оно достаточно хорошо объяснять своё использование ресурсов, чтобы разработчики, операторы и аудиторы могли ему доверять.
Edge AI обещает локальный контроль. Трудно заявлять о контроле, когда машина не может сказать, куда ушла энергия.
Темы: edge AI, телеметрия энергии, агентский AI, оборудование