«Тот же метод, другой язык»: AlphaEdge AI повторила Sparseup от Linkup по-французски

Откуда взялся метод

Три недели назад Linkup выпустила свою первую открытую модель linkup-sparseup-embed-v1 и сопроводила её постом о том, как она построена. Это разреженная модель эмбеддингов на 150 млн параметров, основанная на работе LightOn, опубликованной ранее в этом году: в основе лежит LateOn-unsupervised, к которому приращена голова MLM от ModernBERT, после чего всё дообучено на данных, предоставленных LightOn. По данным статьи, такая модель выиграла 2 пункта на BEIR-13 по сравнению с предыдущим SOTA эквивалентного размера в этом семействе. Чтобы освоить подход, AlphaEdge AI решила повторить модель Linkup, но на французском, а не на английском.

Две архитектурные замены

Чтобы применить методику Linkup к французскому, авторы сделали два архитектурных изменения. Во-первых, backbone заменён на mLateOn-unsupervised — многоязычную версию LateOn-unsupervised, которая, по описанию статьи, поддерживает 10 языков, включая французский. Во-вторых, вместо ModernBERT использована голова MLM от mmBERT-base, причём не в исходном виде: её урезали, оставив только 50 240 токенов, набранных на французском, вместо исходных 256 000. Цель — получить французскую модель, эквивалентную по размеру английской, где словарь содержит 50 370 токенов; совпадать с этим числом авторы намеренно не стали, чтобы сохранить кратность 64, полезную для GPU.

Обучение

Модель обучали на одной RTX 6000 Pro около 55 часов — столько занимает полная эпоха на французских обучающих данных, предоставленных LightOn. Гиперпараметры взяты те же, что использовала Linkup; единственное исключение — доступная на GPU память позволила удвоить размер запроса и документа: с 128 до 256 и с 512 до 1024 соответственно.

Как измеряли

Оценка велась на очищенной версии NanoBEIR-fr от LightOn. Авторы проверили, что между обучающими данными LightOn и этими бенчмарками нет утечек, и удалили подозрительные строки. Замеры сделаны в двух конфигурациях: документы усекаются до максимального контекста каждой модели либо к документу применяется скользящее окно размером с контекст и перекрытием в 64 токена — второй вариант ближе к реальному сценарию RAG и точнее отражает разреженные модели, у которых запрос и документ короче, чем у моделей LightOn.

Результаты

В конфигурации с усечением средний nDCG@10 по NanoBEIR-fr составил 66.13 у mLateOn (307 млн параметров), 64.21 у mDenseOn (307 млн), 52.40 у Sparseup (150 млн), 56.37 у Sparseup-fr-v0 (150 млн), 53.94 у Opensearch (167 млн), 53.15 у Splade-camembert (111 млн) и 48.50 у bm25. Со скользящим окном средние равны 66.13, 64.22, 51.66, 56.50, 54.33, 53.39 и 48.50 соответственно.

Наблюдения

Как и команда Linkup, авторы видят, что модель позднего взаимодействия (late interaction) работает лучше плотной, а та, в свою очередь, лучше разреженных моделей. Скользящее окно не улучшает модели LightOn, у которых контекст запроса и документа и так 8 192 токена; французским разреженным моделям оно немного помогает, но, что странно, ухудшает результаты Sparseup. Чтобы проверить это поведение, авторы дополнительно прогнали модели на очищенном NanoBEIR-en и увидели, что там скользящее окно Sparseup как раз помогает, позволяя обойти mDenseOn. Среди французских моделей обученная версия обходит два доступных на Hub решения: splade-camembert-base-v2 — более чем на 3 пункта, хотя сама модель на 35% больше, и opensearch-neural-sparse-encoding-multilingual-v1 — на 2 пункта, будучи на 11% меньше. Sparseup-fr-v0 первая на 8 наборах NanoBEIR-fr, тогда как opensearch — на 3, а splade-camembert-base-v2 — на 2. Сама Sparseup показывает результат ниже, и это ожидаемо: модель одноязычная английская, хотя всё равно лучше bm25.

Чему научило обучение

Изначально авторы хотели собрать французскую модель в стиле Linkup из слияния нескольких сохранённых весов, но к концу обучения обнаружили, что многие сохранения не сделаны. Причина в том, что push_to_hub отказывается загружать веса, когда README больше 1 МБ, а библиотека sentence_transformers на каждой оценке пишет промежуточные результаты в YAML-метаданные README, поэтому проблема проявляется при большом числе бэкапов. Авторы советуют предусмотреть в коде обучения небольшой патч, чтобы не сохранять результаты в YAML.

Что дальше

По выводу статьи, простая репродукция методики Sparseup на другом языке оказалась удачной: получено новое SOTA для французского среди открытых разреженных моделей. В планах — больше данных, слияние весов, более крупная французская версия и, возможно, многоязычный вариант. Версия v0 вместе с очищенным бенчмарком выложена в коллекции на Hugging Face.