«Дешевле в 11,5 раза»: IBM Research показала открытые «агентные фабрики» в проектировании чипов

Как устроена агентная фабрика

«Агентная фабрика превращает оптимизацию аппаратуры в согласованный цикл исследования: координатор-агент направляет параллельных рабочих агентов разрабатывать и синтезировать альтернативные проекты в рамках заданного бюджета поиска», — приводит публикация слова Ручира Пури (Ruchir Puri), IBM fellow и главного научного сотрудника IBM Research. Проверяющий агент (verifier) подтверждает валидность предложенных улучшений, а дизайны ранжируются по латентности и расходу аппаратных ресурсов, что задаёт следующий раунд исследования. В новой работе координатор планировал поиск и раздавал гипотезы оптимизации четырём параллельным рабочим агентам; рабочие меняли реализацию декодера, а проверки корректности и результаты HLS служили обратной связью для следующих раундов, при бюджете в 100 гипотез на конфигурацию. Среди трансформаций с архитектурными последствиями: реорганизация хранения сообщений, чтобы инструмент синтеза увидел независимые обращения к памяти, и замена последовательных свёрток древовидными структурами, открывающими параллелизм.

Задача: декодер квантовых кодов

Метод продемонстрировали на Relay-BP — алгоритме декодирования квантовых кодов исправления ошибок — для бивариатного велосипедного кода [[144,12,12]]. Квантовая коррекция ошибок опирается на классические вычисления: измерения дают подсказки об ошибках, а декодер должен их интерпретировать и вывести поправки — и делать это быстро, в пределах практичных аппаратных ресурсов. Relay-BP удобен как тест: его повторяющийся обмен сообщениями параллелен по своей природе, но разреженное представление графа и паттерны доступа к памяти в базовой реализации мешают инструментам HLS пользоваться этим параллелизмом. Поэтому декодер оказался требовательной проверкой и для ИИ-исследования аппаратуры: агенты обязаны сохранить вычисление, меняя способ его выполнения на железе.

Что покупает тот же бюджет поиска

Исследователи сравнили три конфигурации при одинаковом бюджете в 100 гипотез: проприетарную фронтир-модель в роли и координатора, и рабочих; открытую фронтир-модель в обеих ролях; и гибрид с проприетарным координатором и рабочими на открытой модели. Открытая модель работала в собственном контуре через llm-d. Все три конфигурации нашли проверенные улучшения аппаратуры, но с разными компромиссами: открытый и гибридный поиски дали полезные компактные дизайны, тогда как проприетарный эффективнее превращал дополнительные ресурсы в параллелизм и низкую латентность. Каждая конфигурация оценивалась в одном прогоне поиска, поэтому результаты описывают именно наблюдавшиеся поиски, а не устанавливают универсальный рейтинг моделей. Полностью открытый поиск израсходовал больше токенов — около 241 млн против 216 млн у полностью проприетарного, — а его более низкая цена объясняется экономикой подачи этих токенов.

Почему это стало возможным: экономика вывода

Единственная кампания поиска может израсходовать сотни миллионов токенов, а применение подхода к множеству компонентов и ревизий дизайна потребовало бы сотен таких кампаний — в этом и состоял барьер. Именно поэтому разница в цене за токен умножается на порядки, и открытые модели с качеством, близким к проприетарным, меняют расчёт. По этой работе сообщается о 52-кратном ускорении относительного базового дизайна примерно за $26 вывода. Демонстрация показала, что открытые модели, развёрнутые в собственном контуре через стек распределённого вывода llm-d, способны резко снизить стоимость обслуживания, продолжая находить ценные оптимизации аппаратуры. Открытые веса также позволили держать модель на своих мощностях и сохранять контроль над артефактами проектирования, которые обрабатывали агенты.

Инфраструктура: llm-d, кэш и разделение фаз

Агентная фабрика раз за разом возвращается к одной и той же информации — исходному коду, ограничениям дизайна, прежним изменениям и отчётам синтеза, — и эффективная подача позволяет переиспользовать вычисления для общего контекста. В работе использован llm-d: его маршрутизация с учётом кэша направляет запросы на серверы, где лежит переиспользуемый контекст, а обработка промпта отделена от генерации токенов, что даёт независимо распределять ресурсы. Для этой задачи в статье сообщается о доле попаданий в кэш префиксов около 98% и смешанной стоимости подачи примерно $0,11 за миллион токенов. Развёртывание обслуживало фабрику вместе с другими агентскими нагрузками на общей инфраструктуре.

Что дальше

Более низкая стоимость вывода создаёт запас для дополнительного поиска, но расход сам по себе не даёт пропорционального улучшения: расширение полностью открытой кампании со 100 до 200 гипотез подняло ускорение с 52× лишь до 60×. Следующий шаг — улучшать то, как фабрика использует дополнительный бюджет: адаптивное распределение ресурсов, более широкий набор архитектурных гипотез и точечное применение более сильных моделей для трудных трансформаций и координации поиска. Оценка также должна учитывать стоимость синтеза и верификации наряду с выводом. Общий вывод публикации — взаимность: лучшее железо даёт более способный ИИ, а более способный ИИ помогает инженерам делать лучшее железо, и дешёвые агентные фабрики делают эту связь практичной.