«Один энкодер вместо двух»: лаборатория DMIS выпустила семейство UltraBERT с контекстом 32K под лицензией Apache 2.0

Заявленные результаты

По утверждению авторов, UltraBERT берёт лучший результат в 9 из 10 бенчмарков при обоих размерах, включая 91.0 на GLUE и 47.7 на BEIR для модели на 380M, и удерживает 99% точности passkey-теста вплоть до 32K токенов.

Отдельная модель UltraBERT-Embed-150M набирает 67.24 на MTEB(eng, v2) — это, по словам лаборатории, лучший результат среди плотных моделей эмбеддингов объёмом менее 200M параметров и при этом без дистилляции из более крупной эмбеддинг-модели.

Вместе с блогом опубликованы веса, коллекция dmis-lab/ultrabert и статья «UltraBERT: Beyond the Limit of BERT Pre-Training» (arXiv 2610.15028) авторства Jungwoo Park, Taewhoo Lee и Jaewoo Kang.

Энкодеры упираются в предел: три вывода об обучении

Авторы прогнали аблации на 150M, 380M и 1.3B параметров на современной архитектуре — RoPE, SwiGLU, чередующееся локальное и глобальное внимание — на одной смеси данных и одинаково оценивали каждый чекпойнт. Суммарно такие прогоны, по их подсчёту, дают более 70 трлн обучающих токенов, а самый долгий одиночный прогон дошёл до 8.8T.

Первый вывод: декодеры масштабируются, а энкодеры насыщаются. GLUE и SQuAD выходят на плато примерно на 1–2T токенов, BEIR — ещё раньше, тогда как training- и validation-loss продолжают падать вплоть до 8.8T; после точки насыщения те же токены с тем же рецептом почти ничего не добавляют, и дальнейший рост требует менять сам рецепт.

Второй вывод: классификация и поиск предпочитают противоположные доли маскирования. При обучении до насыщения классификация стабильно ухудшается с ростом доли маскирования на всех размерах, а для поиска лучше всего работает 50% — и представления при этом используют больше измерений, то есть растёт эффективный ранг. Попытка получить тот же выигрыш дёшево, добавив регуляризатор KoLeo при 6% маскирования, подняла BEIR лишь немного, не дотянула до чистых 50% и стоила пунктов GLUE.

Третий вывод: дистилляция помогает только при низкой доле маскирования. При 15% она подняла GLUE (90.2 → 90.8 на 380M), а при 50% ухудшила поиск по сравнению с обучением с нуля (47.2 → 46.5): при половине замаскированного входа предсказания учителя несут мало сигнала сверх обычного MLM.

Рецепт: раздельные MLM-головы и каскадная дистилляция

Очевидные варианты — затухающая доля маскирования и равномерная выборка по батчам — не сработали: равномерная ведёт себя как своё среднее значение (около 30%), а затухание не возвращает качество классификации низкой доли (88.8 против 89.5 GLUE).

Решением стал LM head decoupling: в каждом батче смешиваются последовательности с 5% и 50% маскирования в соотношении 4:1, и у каждой доли своя LM-голова, тогда как тело энкодера общее.

С раздельными головами один энкодер на 150M достигает 89.4 GLUE и 45.1 BEIR, повторяя лучший однорежимный результат в классификации (89.5 при 6%) и превосходя лучший в поиске (45.0 при 50%).

Обучение идёт на 2T токенов, последние 100B — при контексте 32K; обучающая смесь — в основном веб-текст, плюс код, научные статьи, математика и небольшая доля инструкционных данных, которая, по замечанию авторов, значит больше, чем её объём в 2.5%.

По схеме Cascade Distillation стартуют с лучшего энкодера на 1.3B, сужают его до 380M и дистиллируют, затем прунят дистиллированный 380M до 150M и дистиллируют снова; оба «ученика» учатся у учителя на 1.3B — голова с 5% учится по KL-лоссу на логитах учителя, голова с 50% тренируется обычным MLM.

Сравнение и длинный контекст

В таблице авторов UltraBERT на 152M показывает 89.5 на GLUE, 89.2 на SQuAD 2.0, 45.2 на BEIR, 39.1 на RAR-b Code и 55.4 на RAR-b Math — рядом стоят ModernBERT (149M) с 88.4 GLUE и Ettin Encoder (149M) с 88.9 GLUE.

Самые крупные отрывы — в «рассуждающем» поиске: +7.3 и +8.3 пункта на RAR-b Code и Math в базовом размере и +8.4 и +7.7 — в среднем; авторы отдельно подчёркивают, что одна и та же модель теперь лидирует и в классификации, и в поиске.

В passkey-тесте LongEmbed, который измеряет, какая часть контекстного окна реально используется, UltraBERT удерживает 99% на всех длинах до 32K при обоих размерах, тогда как модели на 8K резко падают на 16K и 32K, а LFM2.5-Encoder деградирует мягче, но уходит ниже 90% на 32K.

UltraBERT-Embed-150M и как это запустить

UltraBERT-Embed-150M обучали из UltraBERT-150M в две контрастивные ступени: сначала около 500M слабо размеченных пар «текст — текст» и «текст — код», затем 5.7M отобранных примеров с «трудными» негативами и входами до 32K токенов; только публичные данные и без дистилляции из крупной эмбеддинг-модели.

На MTEB(eng, v2) она даёт 67.24 и лидирует на коде (MTEB Code 73.30), длинных документах (LongEmbed 79.30) и «рассуждающем» поиске (RAR-b 28.75), а документы на 32K токенов эмбеддит целиком, не обрезая.

Для запуска нужны transformers>=5 и trust_remote_code=True, для длинных входов рекомендуется FlashAttention 2 (SDPA тоже работает). В выпущенных чекпойнтах лежат энкодер и дистиллированная голова на 5% вместе с классами задач для классификации последовательностей, классификации токенов и ответов на вопросы.

Запросы при эмбеддингах используют префикс Instruct: {task}\nQuery:, а документы встраиваются как есть; prompt_name="query" применяет инструкцию для поиска по умолчанию.

Что здесь заявление, а что — факт публикации

Главный вывод авторов в том, что «специализированный энкодер» не был свойством энкодеров как класса — это был побочный эффект рецепта, унаследованного от эпохи BERT, и как только обучение проходит точку насыщения, а каждый режим маскирования получает свою голову, одна модель хорошо справляется с обоими классами задач.

Материал опубликован 14 октября 2026 года как Community Article в блоге Hugging Face от имени Data Mining and Information Systems Lab; среди авторов указаны Jungwoo Park и Taewhoo Lee.

Это заявления самих авторов, а не независимо воспроизведённый результат: числа взяты из их собственного сравнения, где каждая модель дообучалась под задачу одним и тем же grid search, и независимого воспроизведения на момент публикации нет.