«Больше исполнений слоёв на тот же набор параметров»: Layer-Feedback Transformer показал прирост на моделях 10M и 25M

19 сентября 2026 года на Hugging Face опубликована статья Banaxi из Banaxi-Tech «Layer-Feedback Transformer (LFT)» — описание архитектуры и отчёт о контролируемых экспериментах по её сравнению с обычным трансформером.

Постановка задачи сформулирована автором так: большинство языковых моделей обрабатывают скрытые состояния строго в прямом порядке, и каждый слой оценивает представление один раз за прямой проход — после того как информация покинула слой, этот слой больше не обрабатывает представление, полученное более глубокими слоями. LFT — архитектура с рекуррентной маршрутизацией глубины, в которой соседние слои трансформера используются повторно, прежде чем вычисление уйдёт глубже, и всё это без добавления новых параметров.

Как выглядит путь исполнения

Для пятислойной модели путь становится таким: L1 → L2 → L1 → L2 → L3 → L2 → L3 → L4 → L3 → L4 → L5 — вместо обычного L1 → L2 → L3 → L4 → L5. Такая модель содержит пять уникальных слоёв трансформера, но выполняет одиннадцать слоевых исполнений.

Формально для соседних блоков Li и Li+1 локальный цикл обратной связи выглядит как h1 = Li(h), h2 = Li+1(h1), h3 = Li(h2), h4 = Li+1(h3): второй проход даёт более раннему слою обработать представление, уже прошедшее более глубокое преобразование, после чего уточнённое представление передаётся дальше. Сами слои трансформера менять не требуется: реализация использует pre-normalization, RMSNorm, причинное self-attention, RoPE, SwiGLU, остаточные связи и связанные входные и выходные эмбеддинги, а блок остаётся обычным.

Что определяет архитектуру LFT — это граф исполнения по глубине: он задаёт, сколько раз преобразуется скрытое состояние, и делает это без добавления параметров.

Глубина параметров против глубины исполнения

Автор разделяет две величины, которые в обычных трансформерах обычно совпадают: глубина параметров — количество уникальных блоков трансформера, хранимых в модели, и глубина исполнения — количество последовательных преобразований скрытого состояния. У пятислойного трансформера это пять блоков и пять исполнений, у пятислойного LFT — те же пять блоков, но одиннадцать исполнений.

Для N уникальных слоёв маршрутизация LFT даёт E(N) = 3N − 4 исполнений блоков, то есть множитель (3N − 4) / N = 3 − 4/N относительно обычной N-слойной модели. В таблице статьи это выглядит так: три слоя — пять исполнений и 1,67×, пять — одиннадцать и 2,20×, восемь — двадцать и 2,50×, двенадцать — тридцать два и 2,67×, двадцать четыре — шестьдесят восемь и 2,83×.

Как поставлен эксперимент

Чтобы изолировать эффект маршрутизации Layer-Feedback, обучены согласованные пары Standard и LFT на трёх масштабах. Внутри каждой пары совпадают число параметров, число уникальных слоёв трансформера, размер скрытого состояния, конфигурация внимания, размер FFN, начальное зерно инициализации, токенизатор, обучающие данные, порядок токенов, длина контекста, размер батча, оптимизатор, расписание learning rate и бюджет обучающих токенов; единственное архитектурное различие — путь исполнения через слои трансформера.

Все модели используют один общий байтовый BPE-токенизатор на 3 072 токена и длину контекста 768 токенов, а контролируемые прогоны на 500M токенов шли по одному и тому же потоку FineWeb-Edu. Протестированы конфигурации: 2,5M параметров (2 490 400, шесть уникальных слоёв, шесть исполнений у Standard против 14 у LFT), 10M (10 028 800, одиннадцать слоёв, 11 против 29) и 25M (25 077 120, двенадцать слоёв, 12 против 32).

Автор отдельно подчёркивает, что сравнение получилось согласованным по числу параметров, но не по вычислениям: LFT намеренно выполняет больше слоевых исполнений на каждый токен.

Результаты: 2,5M — назад, 10M — вперёд, 25M — вперёд

На 2,5M параметров сильнее остался обычный трансформер: точность Base Bench 1.1 составила 32,57% против 30,86% у LFT, и Standard также немного лучше на PIQA, ARC-Easy и HellaSwag.

На 10M параметров вперёд вышел LFT: точность Base Bench 1.1 выросла с 32,57% до 36,86%, то есть на 4,29 процентного пункта. Наибольшие различия для этой пары — в отслеживании контекста (22,29% против 33,44%, +11,15 п.п.), количественных задачах (19,87% против 28,08%, +8,21 п.п.), логическом выводе (28,84% против 36,68%, +7,84 п.п.), дополнении языка (60,51% против 63,06%, +2,55 п.п.) и дополнении кода (16,88% против 17,83%, +0,95 п.п.). По абсолютному счёту модель LFT ответила верно на 129 вопросов Base Bench из 350 против 114 у Standard.

На 25M параметров LFT тоже финишировал впереди, хотя разрыв меньше: точность Base Bench растёт с 35,43% до 36,57%, а LM-Eval показывает небольшое улучшение по всем трём оцениваемым задачам — PIQA 55,33% против 55,66%, ARC-Easy 33,25% против 33,29%, HellaSwag 27,33% против 27,57%; среднее по этим трём бенчмаркам — 38,64% против 38,84%.

Автор делает из этого осторожный вывод: полезность Layer-Feedback может зависеть от того, есть ли у модели достаточная ёмкость и хватает ли токенов в динамике обучения, а не проявляться немедленным улучшением на любом масштабе.

Зависимость от бюджета обучения

Отдельный эксперимент показывает, как меняется знак разницы при одном и том же размере модели. Более ранняя модель на 10M параметров, обученная на 200M токенов, дала 32,00% против 29,43% в пользу Standard (Elo 862 против 844), то есть LFT отставал на 2,57 процентного пункта.

Когда тот же размер обучили с инициализации заново на 500M токенов, результат перевернулся: 32,57% у Standard против 36,86% у LFT (Elo 854 против 888), то есть плюс 4,29 процентного пункта в пользу LFT.

Оговорка автора: сравнение не по FLOPs

Дополнительные слоевые исполнения не бесплатны. Для моделей из эксперимента множитель исполнений составил 2,33× на 2,5M, 2,64× на 10M и 2,67× на 25M.

Поэтому автор прямо оговаривает границу результата: текущие эксперименты сравнивают модели при равном числе параметров и равном числе обучающих токенов, но не при равных FLOPs, а значит, часть прироста LFT может объясняться дополнительными вычислениями, а не преимуществом архитектуры.

Что это значит

LFT — не готовый продукт, а отчёт сообщества о воспроизводимом эксперименте: архитектура не добавляет параметров к собранной модели и не требует менять сами слои трансформера, но платит за качество дополнительными вычислениями.

В статье не приводится проверка при выравнивании по FLOPs — именно она отделила бы эффект маршрутизации глубины от эффекта большего числа вычислений на тот же набор параметров.