«Почти догнали SmolLM2 на 20× меньшем числе токенов»: 139M-модель BananaMind 2 Pro обучена на одной RTX 5070 Ti

Что обучено и на каком железе

BananaMind 2 Pro — это базовая модель примерно на 139 млн параметров, обученная с нуля на 100 млрд токенов. Главная заявка проекта не в рекордах, а в доступности: полный прогон на 100 млрд токенов выполнен на потребительской видеокарте RTX 5070 Ti 16 ГБ, а не на H100 или A100, и в этом автор видит смысл проекта — обучение и эксперименты с языковыми моделями не должны требовать доступа к большим кластерам.

Карточка модели уточняет состав: 138 971 520 параметров, 24 слоя, скрытая размерность 640, 8 голов запросов на 4 головы ключей и значений с нормализацией QK, RoPE с theta 100 000, SwiGLU, RMSNorm, связанные входные и выходные эмбеддинги, словарь на 32 768 токенов и контекст 3 072 токена. Токенизатор — собственная байтовая BPE с разделением цифр перед токенизацией, обученная на 75 ГиБ образовательных данных из FineWeb-Edu, DCLM, Cosmopedia-v2, FineMath-4+ и NPSet-2.

Прогон описан до последнего шага: 184 954 шага оптимизатора, эффективный батч 176 последовательностей и 540 672 токена на шаг дают запланированные 99 999 449 088 токенов. Оптимизатор — AdamW с пиковым learning rate 1,5e-3 и расписанием warmup-stable-decay с косинусным затуханием на последних 15%. Это именно базовая модель, а не инструктивная или чат-версия: в карточке советуют продолжать текст и загружать репозиторий с trust_remote_code=True.

Отдельно посчитана стоимость прогона: расчётное время — 529,72 часа, то есть около 22 дней, при средней скорости 52 438 токенов в секунду, измеренная мощность GPU — 262 Вт, оценочная нагрузка на розетку — 391 Вт, энергопотребление — 207,1 кВт·ч. Выбросы оценены в 29,0 кг CO₂-эквивалента, и это инженерная оценка, а не измерение ваттметром.

Сравнение со SmolLM: где разрыв, а где нет

Сравнение построено вокруг двух моделей Hugging Face: SmolLM-135M, обученной на 600 млрд токенов, и SmolLM2-135M с 2 трлн токенов. На 100 млрд токенов BananaMind 2 Pro использует в 6 раз меньше данных, чем первая, и в 20 раз меньше, чем вторая.

Таблица автора выглядит так: ARC Easy — 53,38% против 56,31% и 58,63%; ARC Challenge — 27,28% против 29,61% и 29,69%; PIQA — 67,52% против 68,28% и 68,44%; HellaSwag — 42,78% против 42,70% и 43,22%; ArithMark 3 — 38,20% против 36,00% и 39,20%; ArithMark 2 — 32,08% против 28,84% и 32,68%; INT Index — 24,96 против 25,74 и 27,13; код — 1407 против 1585 и 1485; Base Bench — 1138 против 1125 и 1118.

Средняя удержанная доля результата SmolLM2-135M по батарее — 96,08%. Разрыв по отдельным задачам измеряется десятыми долями процентного пункта: PIQA — 0,92 пункта, HellaSwag — 0,44, ArithMark 3 — 1,00, ArithMark 2 — 0,60.

Автор не преувеличивает результат: BananaMind 2 Pro не выигрывает у SmolLM2 «по всем пунктам», и по ARC Easy отставание заметно — 53,38% против 58,63%, а INT Index ниже — 24,96 против 27,13. Против SmolLM-135M модель, наоборот, выходит вперёд на HellaSwag, ArithMark 3 и ArithMark 2, то есть почти на половине набора.

Base Bench внутри публикации и внутри карточки модели расходится: в сравнительной таблице статьи у BananaMind 2 Pro стоит 1138 при 1125 у SmolLM-135M и 1118 у SmolLM2-135M, а таблица карточки для финального чекпоинта даёт 1124 Elo при 233 верных ответах из 350 и отдельно отмечает 1132 Elo для эндпоинта с батчем 1. Разница объясняется конфигурацией измерения, и все значения в карточке помечены как самостоятельно полученные.

Голосование вместо бенчмарков

Основной аргумент в пользу модели — не бенчмарки, а слепое голосование: в SLM Arena пользователи видят два ответа и выбирают лучший, не зная авторов. По снапшоту лидерборда от 18 сентября 2026 года, 8:02 по центральноевропейскому времени, BananaMind 2 Pro занимал первое место с 1163,8 Elo, а SmolLM2-135M — шестое с 1082,1 Elo.

Разрыв в 81,7 Elo автор приводит как главный контраргумент к бенчмаркам: по его логике, при 96,08% удержанного балла модель выигрывает у SmolLM2 там, где решение принимает человек.

Цифры опираются на 51 бой у BananaMind 2 Pro — 32 победы, 11 поражений, 1 ничья и 7 раз оба ответа признаны плохими — и 43 боя у SmolLM2-135M с 22 победами и 11 поражениями. Это небольшая выборка, лидерборд живой, а сам снапшот приведён в публикации автора, поэтому независимой проверки этих чисел в первичных источниках нет.

У материала есть и правка по ходу: на изображении SmolLM-135M был подписан как модель, обученная на 200 млрд токенов; комментатор указал на ошибку и напомнил про 600 млрд, автор ответил, что исправляет, и поправил текст, отметив, что сама картинка осталась старой.

Где проигрывает и что забирает автор

Код — самая заметная слабость: 1407 против 1485 у SmolLM2-135M и 1585 у SmolLM-135M, то есть отставание на 78 и 178 баллов соответственно. Автор прямо называет код направлением для будущих моделей.

Данные для обучения распределены так: FineWeb-Edu — 50,166 млрд токенов (50,17%), DCLM — 26,125 млрд (26,13%), Cosmopedia-v2 — 13,525 млрд (13,53%), FineMath-4+ — 7,875 млрд (7,88%), NPSet-2 Python Edu — 2,309 млрд (2,31%). Примерно три четверти бюджета приходится на два веб-корпуса, а оставшаяся четверть — на синтетику, математику и Python-код.

Главный вывод, который делает автор, звучит так: число обучающих токенов само по себе не определяет качество малой модели — важны архитектура, качество и состав данных, оптимизация, токенизатор и стратегия обучения. Следующие версии, по его словам, будут уже с полностью новыми архитектурами.

Ограничения стоит держать в голове: все замеры в этом сравнении самозаявленные, сторонней проверки нет, модель базовая и не рассчитана на диалог, а SLM Arena — сообщество, а не независимый институт.