Multiverse Computing свела удаление блоков LLM к задаче спин-стекла — почти 23 пункта MMLU при сжатии вдвое

Удаление блоков как задача о спиновом стекле

Один из самых дешёвых способов ускорить большую языковую модель — одновременно один из самых грубых: удалить целиком часть блоков трансформера. Поскольку модель буквально становится короче, блочная обрезка (block removal, она же depth pruning) даёт предсказуемое ускорение вывода поверх экономии памяти и складывается с квантизацией и низкоранговым сжатием. Сложность в другом — в том, какие именно блоки резать: ошибёшься с выбором, и модель разваливается, а вклад одного блока зависит от того, какие ещё блоки удалены рядом с ним, поэтому решения взаимосвязаны.

Именно это, по логике авторов, делает задачу комбинаторной, а не задачей ранжирования, — а комбинаторные задачи с взаимодействующими бинарными переменными как раз и описывает физика спиновых систем. В работе «LLM Compression by Block Removal with Constrained Binary Optimization» выбор блоков переформулирован как задача ограниченной бинарной оптимизации, которая напрямую отображается на модель Изинга: неупорядоченную спиновую систему со взаимодействиями «все со всеми» и фиксированным числом спинов «вверх».

Ключевое утверждение работы — энергия такой спиновой системы служит сильным и дешёвым прокси качества: низкоэнергетические состояния соответствуют хорошо работающим сжатым моделям. Это позволяет ранжировать огромное число конфигураций, не прогоняя ни одну из них через бенчмарки, и отдавать трудные случаи тем же классическим и квантово-вдохновлённым солверам, которыми в Multiverse пользуются и в других проектах. Выигрыш заметен прежде всего на глубоком сжатии: при сжатии Llama-3.3-70B-Instruct вдвое авторы получают почти 23 процентных пункта MMLU относительно лучшего конкурирующего метода блочной обрезки.

Почему выбор блоков — задача многих тел

Большинство существующих методов блочной обрезки оценивают каждый блок по отдельности — по магнитуде, чувствительности или эвристике блок-инфлюенса — и удаляют те, что выглядят наименее важными. В терминах физики это методы среднего поля: они обращаются с блоком так, будто его вклад не зависит от соседей, — примерно как теория среднего поля заменяет соседей спина одним усреднённым полем. Родственное упрощение — удалять только один подряд идущий отрезок блоков: задача остаётся маленькой, но большая часть пространства поиска выбрасывается.

Проблема в том, что блоки независимы не больше, чем спины в реальном магните: вредит ли удаление блока 20 — зависит от того, удалён ли заодно блок 19 или блок 24, а это взаимодействие, или coupling, между двумя решениями. Чем глубже и неоднороднее модель, тем больше качества теряется при игнорировании связей, особенно когда резать нужно много блоков сразу. Искать приходится по комбинациям блоков с учётом их взаимодействия, но число комбинаций растёт экспоненциально, так что прямой перебор выглядит безнадёжным — и это ровно тот режим экспоненциально больших пространств конфигураций с парными связями, для которого создан аппарат статистической физики.

Одна матрица связей, много решений

Формально каждый блок трансформера получает бинарную переменную: 0 — оставить, 1 — удалить, как спин, который может смотреть вниз или вверх. Затем авторы раскладывают потери модели по этим переменным до второго порядка и получают приближённый гессиан: его диагональ показывает, насколько важен блок сам по себе, а недиагональные элементы — те самые парные связи между блоками, которые методы среднего поля отбрасывают. Задача сводится к поиску набора из M блоков, удаление которых минимизирует энергию xᵀH⁰x при условии, что убрать надо ровно M из N блоков: математически это ограниченная бинарная оптимизация, физически — спиновое стекло со взаимодействиями «все со всеми» и сохраняющейся намагниченностью.

Практичность конструкции — в стоимости: гессиан, то есть полный набор связей, считается один раз, прямыми и обратными проходами по небольшому калибровочному датасету. После этого оценка любой конфигурации — одна дешёвая энергия, без запуска самой модели и тем более без бенчмарка. Поскольку связи не зависят от целевой степени сжатия, один и тот же гессиан переиспользуется для разных значений M.

Для большинства моделей пространство конфигураций большое, но проверяемое: считая энергию дёшево, авторы перебирают варианты на одной видеокарте — до десятков миллиардов спиновых конфигураций. Несколько миллионов занимают секунды, а самый тяжёлый поддающийся случай — удаление 8 из 80 блоков Llama-3.3-70B, около 29 миллиардов конфигураций, — потребовал примерно двух суток. Дальше точный перебор заканчивается, и здесь пригодится эквивалентная форма QUBO: та же задача отдаётся классическим, квантовым и квантово-вдохновлённым солверам — квантовому отжигу, QAOA, tabu-поиску и специализированному branch-and-bound. Открытый tabu-солвер, по сообщению авторов, надёжно доходит до состояний с минимальной энергией за секунды даже на самых трудных случаях, которые удаётся сверить с полным перебором.

Отдельная деталь ломает привычную логику оптимизации: истинное основное состояние искать не нужно. Достаточно быстро получить несколько хороших низкоэнергетических состояний, а это куда более низкая планка — поэтому лёгкие солверы работают так хорошо и позволить себе можно сразу несколько. Энергия предсказывает качество хорошо, но не идеально, поэтому самый низкоэнергетический вариант не всегда оказывается лучшей моделью; зато после того как гамильтониан построен, получить и основное состояние, и низколежащие возбуждённые состояния почти ничего не стоит — вместо одного хрупкого ответа появляется спектр кандидатов.

Результаты: отрыв растёт вместе со сжатием

На Llama-3.1-8B-Instruct, Qwen3-14B и Llama-3.3-70B-Instruct метод (CBO) идёт наравне с современными базовыми подходами блочной обрезки или лучше них, и разрыв растёт по мере агрессивности сжатия. Самый чистый выигрыш — глубокое сжатие Llama-3.3-70B-Instruct без дообучения: до 24 удалённых из 80 блоков CBO примерно наравне с блок-инфлюенсом, но на 32/80 и 40/80 он уходит вперёд, давая почти 23 пункта MMLU преимущества на самой глубокой настройке, где обыгрывает базовый метод на каждом протестированном бенчмарке. Для Qwen3-14B при удалении 12 из 40 блоков CBO лидирует по MMLU примерно на 10 пунктов.

В таблице по Llama-3.3-70B-Instruct без дообучения: исходная модель — 82,2 MMLU; CBO при 32/80 — 76,6 против 59,3 у блок-инфлюенса, а при 40/80 — 76,9 против 54,0. Иначе говоря, при сжатии на 50% по глубине CBO удерживает MMLU около 77, тогда как сильнейший базовый метод падает до середины пятого десятка. При более лёгком сжатии методы сопоставимы, и это ожидаемо: связи между блоками важнее всего, когда режешь глубоко.

Отдельный пример того, почему важен весь спектр, а не одно основное состояние: для Llama-3.1-8B-Instruct при удалении 16 из 32 блоков большинство лучших состояний режут блоки ближе к концу модели, как и ожидалось по прежним работам. Но 17-е возбуждённое состояние первым предлагает убрать блок ближе к началу модели, и после лёгкого дообучения такая конфигурация обгоняет основное состояние на нескольких бенчмарках — лучшая модель оказывается возбуждённым состоянием, а не основным.

Гибрид, код и границы подхода

Формулировка не предполагает однородного стека, поэтому авторы проверили её на гибридной модели NVIDIA-Nemotron-3-Nano-30B-A3B-FP8, где Mamba2, attention и mixture-of-experts (MoE) слои перемешаны неоднородно. Удаляя 2–3 слоя MoE или 2 слоя attention, CBO находит конфигурации, которые обходят блок-инфлюенс на AIME25 и GPQA, причём без дообучения. Результат подтверждает, что избыточность в таких моделях реальна, но распределена неравномерно: некоторые экспертные слои куда более «расходные», чем другие, и именно поиск по связанному пространству конфигураций находит хорошие разрезы.

Метод заявлен как совместимый с остальным стеком сжатия — квантизацией, низкоранговым и SVD-сжатием, обрезкой по ширине и «лечением» через дистилляцию знаний, — то есть встраивается в конвейер, а не конкурирует с ним. Код выложен в открытом репозитории CompactifAI с оговоркой: патенты в процессе оформления, использование ограничено исследованиями и некоммерческими проектами. Авторы отдельно предупреждают, что часть энергий близка к вырождению, поэтому точный порядок состояний может немного меняться из-за ошибок округления — это стоит учитывать при оценке моделей.