«Не каждая задача требует авторегрессионного чат-бота»: Laya отвечает решением за 33 миллисекунды

Что именно делает Laya

Laya оценивает типизированные вопросы к произвольному состоянию — сырому тексту, письму, тикету или JSON-документу — за один прямой проход. Модель не генерирует текст: в выходном пространстве только вероятности и числа, поэтому разбирать ответ не нужно, а нарушения схемы или сломанный JSON невозможны по построению.

Вопросов ровно три вида. `choice` выбирает один вариант из словаря критериев, возвращая ключ, распределение вероятностей по всем вариантам и калиброванную уверенность.

`score` ставит состояние на порядковую шкалу уровней 0, 1, 2 и далее, возвращая ожидаемый уровень и распределение по рангам. `noul` отвечает на булев вопрос калиброванной вероятностью P(true) от 0.0 до 1.0, где P(false) равно единице минус P(true) по построению.

Обучение построено на обучении с подкреплением против строго правильных правил оценки (RLCD), поэтому честно сообщать вероятности — единственный способ максимизировать награду.

Три чекпоинта одного семейства

Одна модель не может быть оптимальной для всех задач и языков, поэтому выпущено три специализированных чекпоинта, сведённых в один репозиторий на Hugging Face. Базовый `convaiinnovations/laya` — это ModernBERT-large на 421 миллион параметров с контекстом 512 токенов для английской классификации текста, гардрейлов и разбора почты.

`convaiinnovations/laya-multilingual` построен на mmBERT-base со словарём на 256 тысяч токенов: 322 миллиона параметров, контекст 1024 токена с расширением до 8 тысяч, более 100 языков и примерно вдвое выше скорость. Третий чекпоинт, `convaiinnovations/laya-typed-decisions`, рассчитан на наблюдаемость агентов, клиентскую поддержку, обработку счетов и алерты безопасности с точностью 0.766.

Репозиторий отдаёт только запрошенную часть: SDK через `allow_patterns` скачивает английскую модель (около 808 МБ) или подпапку multilingual (около 647 МБ) вместо всего набора на 2,5 ГБ.

Почему маршрутизация обязательна

В развёртке на 51 язык по бенчмарку MASSIVE выяснилось, как английская модель ведёт себя вне латиницы. Английский BPE-словарь ModernBERT-large на 50 тысяч токенов просто рвёт нелатинские алфавиты на куски.

Результаты показательные: на кхмерском — точность 0.000 при средней уверенности 0.952, то есть ни одного верного решения на сотню вопросов при заявленных 95% уверенности; на армянском — 0.050, ровно как при подбрасывании монеты, при уверенности 0.885; на иврите — 0.060 при 0.964; на бенгальском — 0.080 при 0.945; на хинди — 0.100 при 0.941. Вывод автора жёсткий: собственная уверенность модели не предупреждает, что она не может прочитать входной алфавит, и по 51 языку средняя уверенность английского чекпоинта никогда не опускается ниже 0.885 — при точности от 82% до 0%. Соответственно, уверенностью нельзя защититься: выбор модели должен происходить до прямого прохода.

Встроенный `Router` смотрит на Unicode-скрипты входящего текста по 22 алфавитам и на распределение латинских стоп-слов. Накладные расходы на определение — 0.09 миллисекунды для обычного английского текста, 0.54 миллисекунды для деванагари, 0.73 миллисекунды на больших вложенных JSON на 200 строк, то есть меньше двух процентов от 33 миллисекунд прямого прохода. Режим `Router(preload=True)` держит нужные модели в памяти и снимает штраф в 7–10 секунд на холодную подмену, когда трафик чередует языки.

Сравнение с TypeSafe Jev

Автор свёл Laya с TypeSafe Jev, и здесь важна оговорка о происхождении цифр: все числа Laya измерены, а числа Jev взяты из сторонних независимых исследований, потому что свой проект на модели конкурента не запускал.

На наборе typed-decisions из 2000 решений Laya даёт 0.766 против 0.727 у Jev, на AG News — 0.950 против 0.910, на DAIR Emotion — 0.595 против 0.480. Ошибка калибровки ECE — 0.081 против 0.246, то есть втрое лучше.

Медианная задержка на один вопрос — 32.8 миллисекунды против 236–276 миллисекунд, на пакет из десяти вопросов — 72.3 миллисекунды против примерно 1500 миллисекунд при последовательной обработке. Рабочих языков с точностью выше тройного случайного уровня — 45 из 51.

При self-hosting стоимость на миллион токенов нулевая, тогда как у Jev заявлено $0.042 на метрируемом API.

Где Laya упирается в потолок

Раздел ограничений написан самим автором и объясняет, почему это не универсальная замена генеративным моделям. Вопросы типа `choice` деградируют после примерно 20 вариантов: в стресс-тесте на Banking77 с 77 метками Laya набрала 0.425 против 0.870 у Jev, потому что все варианты делят бюджет `head_max_len` в 192–256 токенов, оставляя по 3–4 токена на кандидата. Рекомендация прямая — держать схемы выбора в пределах 20 вариантов или строить двухступенчатую иерархию от грубого к точному.

Второе ограничение ближе к практике: базовые модели без дообучения дают на наборе typed-decisions около 0.35, то есть почти случайный уровень, и 0.766 достигается дообучением на обучающей части того же набора. Отдельная строка — калибровка: базовые веса выходят с сырыми логитами температуры, и подгонка одного скаляра температуры на тип вопроса под свой домен снижает ожидаемую ошибку калибровки с 0.466 до 0.081.

Как это читать

Перед нами доска замеров, опубликованная автором модели, — а не независимая проверка. Цифры по конкуренту взяты из чужих исследований, свой прогон Jev не делался, и это автор указывает сам. Ключевые показатели точности получены после дообучения на обучающей части того же набора, что делает сравнение с конкурентным чекпоинтом корректным лишь настолько, насколько сопоставимы условия.

При этом сама ставка проекта узкая и понятная: для массовой классификации, маршрутизации, гардрейлов и сортировки обращений генеративная модель избыточна, а решение за десятки миллисекунд с честными вероятностями — достаточно. Там, где нужен текст, Laya не работает по построению, а там, где вариантов больше двух десятков, авторы сами советуют иерархию.