46 млн параметров и обратное распространение на инференс-чипе: команда показала совпадение с GPU-эталоном на 0,99

Что утверждает команда

Текст вышел 14 октября 2026 года как community article в блоге Hugging Face; автор — VIDRAFT_LAB, связанный профиль — SeaWolf-AI. Это первичный рассказ авторов о своей работе, а не независимая проверка: все числа в нём принадлежат команде, и относиться к ним нужно именно так.

Предмет рассказа — модель FINAL-Bench/VKORE-46M-NPU. Она намеренно маленькая: decoder-only трансформер примерно на 46 млн параметров с позиционным кодированием RoPE, MLP на SwiGLU, RMSNorm и grouped-query attention, символьным токенизатором и датасетом TinyStories. Обучение шло с нуля, без предобученных весов, на 32 чипах инференс-ускорителя Rebellions ATOM-Max — это имя называет карточка модели, тогда как в самом разборе железо описано обобщённо: инференс-NPU первого поколения, выпущенный в 2025 году. Там же приведены параметры сети: 12 слоёв, ширина 512, восемь голов внимания, из них две для ключей и значений, словарь 256 и длина контекста 256; кросс-энтропия за прогон снизилась с 5,65 до 0,42, а обучение заняло около 22,5 млн токенов на валидационном сплите TinyStoriesV2-GPT4. Ставка сделана не на качество модели, а на путь обучения.

Почему обучение на инференс-чипе — отдельная задача

Авторы перечисляют пять причин, по которым инференс-ускорители плохо подходят для обучения. Графы компилируются заранее и сливаются вендорным компилятором, поэтому общего автограда во время выполнения нет и обратный граф никто не строит. Веса во многих средах выполнения запечены в скомпилированный артефакт константами, тогда как обучению нужны изменяемые буферы с градиентом и состоянием оптимизатора. Пониженная точность по умолчанию (int8, int4, fp16) настроена на точность прямого прохода, а не на накопление градиентов малой величины, и наивное её переиспользование расходится. Память под состояние Adam-подобных оптимизаторов требует ещё примерно 2–3 объёма параметров сверх сохранённых активаций. Наконец, для синхронизации градиентов нужны коллективные коммуникации, которых сервинг-путь не поставляет.

Из этого набора выросло распространённое убеждение, что NPU не умеют обучать, а значит, и обучать на них нельзя; по формулировке авторов, VKORE-46M-NPU задуман как конкретный контрпример с воспроизводимым протоколом проверки.

Как проверяли результат

Главный артефакт — не одиночная кривая потерь, а контролируемое сравнение. Одну и ту же модель обучили с нуля дважды при идентичной инициализации, порядке данных и расписании: один раз на 32-чиповом NPU, один раз на GPU-эталоне. В разборе говорится о корреляции кривых потерь 0,99 и сопоставимой пропускной способности в токенах в секунду, а карточка модели уточняет детали: эталонный ускоритель — B200, корреляция траекторий составляет 0,998 на сопоставленных шагах и 0,87 на поздней фазе сходимости.

Авторы сами объясняют, почему такой протокол сильнее падающих потерь: низкоточные или неверно реализованные ядра обратного прохода тоже могут дать убывающую функцию потерь, уходя при этом по другой траектории оптимизации. Информативен именно сигнал согласия с заведомо исправным эталоном в совпадающих условиях, и его авторы и предлагают считать планкой для похожих заявлений: не «потери снизились на железе X», а «траектория потерь совпала с GPU-эталоном при одном сиде, данных и расписании».

Отдельно подчёркнуто, что прогон сделан на первом поколении инференс-чипов 2025 года, а не на самом новом железе: если это удаётся первому поколению, запас на следующих остаётся открытым вопросом.

Что открыто, а что нет

Открыто: веса модели, карточка модели и данные сравнения NPU с GPU. Не открыто: техника обучения и код — по словам авторов, они патентно-защищены и держатся закрытыми ради защиты интеллектуальной собственности, а метод обещан в отдельной статье; карточка модели подтверждает, что ключевая техника обучения «разработана внутри компании и находится в процессе патентования».

Эту границу авторы проговаривают прямо: загрузить и запустить выпущенную модель и посмотреть сравнение можно, но включающие обучение ядра не открыты; статья не заявляет открытого рецепта обучения, а сообщает о выпущенной модели и протоколе её проверки. Ещё одним элементом команда называет программный слой VKORE, который должен закрывать на одном типе ускорителей предобучение, дообучение LoRA, ускорение инференса и исполнение квантованных моделей.

Ограничения и что здесь факт, а что — заявление

Ограничения перечислены самими авторами: 46 млн параметров, символьный уровень и TinyStories — игрушечный масштаб; демонстрируется путь обучения, а не качество модели или результаты на задачах; масштабирование на большие модели и реальные данные с оценкой качества (перплексия, прикладные задачи) названо следующим шагом, а не заявленным достижением. Из-за закрытой техники независимое воспроизведение ограничено выпущенными артефактами.

Практическая часть тоже скромная: модель весов и карточки загружается стандартным путём transformers для генерации текста, обучена на TinyStories и порождает короткие грамматичные английские истории — авторы просят относиться к ней как к демонстрации возможности, а не как к ассистенту общего назначения.

Факт в этом материале — существование опубликованного разбора и выпущенных артефактов: статья в блоге Hugging Face от 14 октября 2026 года, веса, карточка модели и заявленные данные сравнения. Заявление — все измерения: корреляция 0,99, сопоставимая пропускная способность и работоспособность всего цикла обучение-дообучение-инференс на одном ускорителе. Независимого подтверждения этому нет, а техника обучения не раскрыта, так что проверить путь целиком сторонний исследователь пока не может.