Microsoft AI завершила предобучение MAI-Base-2: 80 млрд активных параметров и в 4–12 раз меньше вычислений, чем у DeepSeek-V4-Pro-Base

Что объявлено

15 октября 2026 года Microsoft AI сообщила, что завершила предобучение новой базовой модели MAI-Base-2. Это разреженная MoE-модель («mixture of experts», смесь экспертов) с 80 миллиардами активных и 2,8 триллионами общих параметров, и она продолжает линию, начатую в июне объявлением MAI-Thinking-1 — модели, которую компания описывает как «модель общего назначения, дообученную поверх MAI-Base-1».

Формулировка компании о результате: модель «обходит все open-weight модели, которые мы тестировали на наших отложенных оценках». Все сравнения — собственные измерения Microsoft; независимого воспроизведения в публикации нет, и это единственный источник её чисел.

Абсолютных баллов на отдельных бенчмарках в тексте поста не приведено вовсе: сравнение дано в bits-per-byte (BPB) — метрике, не зависящей от токенизатора модели, — а сами значения вынесены на графики. Для отложенного кода компания использует собственную кодовую базу, а оценки по STEM, математике и вопросам-ответам заказывает у внешних поставщиков, чтобы снизить риск загрязнения обучающими данными, и дополнительно дезактивирует все оценочные наборы против своих обучающих данных.

В сравнении участвуют модели минимум с одним триллионом общих параметров, причём чем ниже значение, тем лучше. Опорной точкой Microsoft выбрала DeepSeek-V4-Pro-Base — по собственному объяснению, «единственный выпущенный чекпойнт базового предобучения с более чем триллионом параметров», хотя обученный заметно меньшим количеством вычислений.

Как её обучали

Прогон предобучения занял 38 дней августа и сентября 2026 года на 16 тысячах ускорителей GB200. Средняя MFU (доля полезной загрузки ускорителей) за прогон — 21%, goodput (доля времени, когда обучение продвигалось) — 89%.

Методику компания оговаривает прямо: MFU нормирована на 2,5 PFLOPs (теоретический максимум GB200 в BF16) и не включает FLOPs на рематериализацию и работу оптимизатора. Такую оговорку редко пишут рядом с цифрой загрузки, и без неё 21% не сравнить с чужими отчётами.

Экономия вычислений — центральное утверждение поста. Скейлинговые законы BPB компания подгоняла к кривой вычислений отдельно для каждой из четырёх отложенных оценок, включив в подгонку и финальный результат MAI-Base-2, чтобы точка сопоставления попадала внутрь откалиброванного диапазона, а не за него. По этой оценке рецепт обучения в 4,2–12,3 раза выгоднее по FLOPs, чем у DeepSeek-V4-Pro-Base, а относительно собственной MAI-Base-1 выигрыш с момента её выпуска в июне — 6,3–12,7 раза.

Инженерные подробности названы конкретно. MoE-слои удалось поставить в каждом слое лишь после того, как MFU этих слоёв подняли с 24% до 35% — за счёт отказа от динамической маршрутизации, которая усиливала фрагментацию памяти, и снижения накладных расходов на экспертов при большем их числе. Оптимизатор Muon занял 2,1% (165 мс) среднего времени итерации обучения при теоретическом пределе 55 мс, а разрыв компания относит на «отстающие» ускорители, накладные расходы запуска ядер, дисбаланс нагрузки и копирование памяти при переразбиении.

Вместо выбрасывания токенов при перегрузке экспертов применена схема dropless MoE с фиксированным потреблением памяти: перегруженный эксперт обрабатывает избыточные токены дополнительными раундами, беря неиспользованную ёмкость у соседей по группе. Компания объясняет выбор замером: «наши эксперименты показали, что отбрасывание токенов ведёт к худшему качеству».

Данные: корпус уникальных обучающих токенов вырос примерно на 36% относительно MAI-Base-1, каждый токен обработан собственными пайплайнами, отсечка веб-знаний — март 2026 года. Модель впервые обучалась с зрением без отдельного энкодера (encoder-free VLM): VLM-корпус — 4,5 трлн уникальных токенов, с повторами визуальные данные заняли 18% от обучающей смеси в 50 трлн токенов, а задачи корпуса включают, среди прочего, понимание графиков, визуальную привязку, пространственные рассуждения, медицинское понимание и чтение нот.

Сравнения и оговорки

Кроме DeepSeek-V4-Pro-Base, в сравнении названы Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL. Для этих трёх открытых моделей доступны только посттренированные чекпойнты, и Microsoft прямо предупреждает, что посттренировка может влиять на такие оценки — то есть часть преимущества может объясняться разницей в состоянии моделей, а не рецептом.

Данные компания называет «органическими» и заявляет, что предобучение не использует дистилляцию из других моделей; лицензировать веса MAI-Base-2 планируется «доверенным партнёрам» через Microsoft Foundry. Отдельно перечислены три принципа, которым, по её словам, следуют все модели линейки: интеллект должен быть выучен с первых принципов, простые методы масштабируются лучше всего, научная строгость важнее коротких путей.

Ещё одна деталь о данных: механизм обрезки градиентов на активациях компания использует как диагностический инструмент и с его помощью нашла испорченный обучающий пример на собственном коде, где лицензионный заголовок был обрезан посреди предложения; причиной оказалась ошибка в пайплайне предобработки, которую с тех пор исправили.

Что дальше

MAI-Base-2 сейчас проходит посттренировку — компания обещает поделиться результатами позже, называет модель «основой для следующего поколения моделей» и сообщает, что подготовка MAI-Base-3 уже началась.

Отдельная деталь в документах Microsoft, которую стоит держать в голове при чтении обеих страниц: новый пост относит и объявление MAI-Thinking-1, и выпуск MAI-Base-1 к июню, тогда как страница «Introducing MAI-Thinking-1» помечена 12 августа 2026 года («Updated as of August 12, 2026») и описывает эту модель как разреженную MoE с 35 млрд активных и примерно 1 трлн общих параметров, для которой метрики даются раздельно — для посттренированного состояния и для предобучения базовой модели.