«Первая тройка уложилась в 1,4 балла»: Jev AI выложила сравнения Jev с четырьмя открытыми моделями решений

Что именно выложила Jev AI

Двадцать первого и двадцать второго сентября 2026 года на сайте Jev AI появились четыре страницы сравнения — Jev против djev, против Laya, против OpenJev и против SemIf; каждая обновлена 22 сентября и построена вокруг одного и того же замера.

Методика на страницах названа прямо: JevBench v1.3.0 прогнал 52 системы по одним и тем же 534 решениям — 72 уровня easy, 96 standard, 146 judge и 220 hard — 21 сентября 2026 года, по одному запросу за раз. «Один бенчмарк прогнал все 52 системы по одной методике, так что эти столбики сравнимы между собой — в отличие от цифр, которые публикуют вендоры», — утверждает сама страница сравнения.

Композитный балл складывается из четырёх осей: Intelligence, Calibration, Speed и Cost; официальный балл самой доски — равновесное гармоническое среднее этих осей, поэтому повышенного веса не получает ни одна из них.

Композит: 74,4 против 73,1 против 73,0

В снимке v1.3.0 первое место занимает Jev 1.13.0 с 74,4 балла, второе — SemIf с 73,1, третье — djev с 73,0. Дальше разрыв растёт: OpenJev идёт одиннадцатым с 66,4, Laya — тридцать третьей с 54,4; «тройка финиширует в пределах 1,4 балла друг от друга, а дальше доска резко проваливается», — описывают расклад авторы сравнения.

Задержки в том же снимке: у Jev 1.13.0 — 0,65 с по медиане и 0,72 с по p95 на хостовом API; у SemIf — 0,20 с «сырых» и 0,55 с с поправкой при самостоятельном хостинге на GPU; у djev — 0,24 с по медиане и 0,31 с по p95 на хостовом превью; у OpenJev — 0,24 с и 0,63 с; у Laya — 0,79 с и 1,72 с на CPU.

По осям картина расходится. По калибровке Jev держит 82,7 против 72,6 у SemIf и 65,4 у djev. Ниже по этой оси Laya — 62,5, у OpenJev 64,8.

На самых трудных вопросах разрыв шире: 74,1% у Jev, 69,5% у djev и 65,5% у OpenJev. Замыкают список SemIf с 59,5% и Laya с 34,1%.

Где выигрывают конкуренты

Страницы не скрывают и обратного: djev побеждает по скорости — 91,4 против 83,3 у Jev — и принимает не только текст, но и изображения, варианты на картинке и кадры с камеры.

SemIf забирает судейский тир: 95,2% против 94,5% у Jev. Проект работает на Qwen3.5-4B и описывает себя как «семантические if из открытых моделей, на 3090 дома»: код под MIT, лицензии весов остаются у апстрима, а в README прямо сказано, что это независимый проект, не связанный с Jev и TypeSafe.

OpenJev — открытый сервер решений, совместимый с идеей Jev, на DiffusionGemma 26B-A4B: его можно поднять у себя или запустить через Codiv. Тридцать третьей в том же зачёте идёт Laya: лицензия Apache-2.0, decision head на 421M поверх замороженного ModernBERT/mmBERT, сто с лишним языков и десятки миллисекунд на Tesla T4.

Что выигрывает Jev: он отвечает без дообучения, без разметки и без обучающего прогона, отдаёт калиброванные вероятности и, по данным тех же страниц, сильнее всех на трудных вопросах.

Кто считает JevBench

Сам бенчмарк ведёт не Jev AI, а Benchmark Heaven: в описании методики сказано, что замер «проведён нами, а не собран с чужой доски лидеров», харнесс, публичные задания и правила подсчёта открыты под MIT, а результаты выложены JSON-файлом с хешем.

Официальный балл — равновесное гармоническое среднее Intelligence, Calibration, Speed и Cost, где каждая ось приведена к шкале 0–100. Замер идёт по одному запросу за раз с сервера в Германии, а сами авторы предупреждают, что цифры описывают протестированные конфигурации, а не любое применение модели.

Доска при этом живая, и это важно для чтения любых сравнений: на момент проверки её текущая версия — v1.4.2 с замером 24 сентября 2026 года, 534 публичных и 308 закрытых решений и 89 систем в зачёте; доска v1.3.0, которую цитируют страницы Jev AI, оставлена ниже как история.

Что изменилось в новой версии

В v1.4 в зачёт добавили закрытый набор: 20% оси Intelligence берётся именно из него, а если разрыв между публичной и закрытой точностью превышает 25 процентных пунктов, Intelligence штрафуется.

Оси ниже 50 тянут итог вниз квадратично: «если Intelligence меньше 50, умножить на (I/50) в квадрате» — и то же правило действует для Speed и Cost по отдельности.

После этого расклад первой строки поменялся: Jev 1.13.0 остаётся первым по Capability с 64,7, но в официальном зачёте он теперь второй; SemIf опускается на одиннадцатое место, а официальную первую строку занимает decider-4b v2 от Mapika — 0,020 доллара за тысячу решений и 0,18 с по медиане.

Как это разошлось по сети

Двадцать третьего сентября та же сводка появилась в блоге Hugging Face как Community Article за авторством bna (аккаунт sora-2): текст пересказывает четыре сравнения и приводит те же числа, ссылаясь на официальные страницы сравнения и опубликованный JevBench.

Статус публикации при этом — Community Article, то есть сторонний пересказ вендорских страниц, а не редакционный материал Hugging Face и не независимая проверка замера: автор сам пишет, что опирается на «официальные страницы сравнения и их опубликованный снимок JevBench v1.3.0», то есть числа в блоге — те же вендорские цифры, что и на страницах.

Что из этого следует

Такое сравнение — снимок, а не приговор: 52 системы, 534 решения, один замер от 21 сентября, по одному запросу за раз, и всё это в конфигурациях, которые перечислены на самих страницах.

Открытые альтернативы выигрывают не в общем балле, а на конкретных осях — скорость, судейский тир, владение весами, — и страницы Jev AI публикуют это сами; поэтому читать их стоит как вендорский разбор чужого замера, а не как независимый тест.

Доска движется быстрее, чем страницы сравнения: за три дня она прошла путь от v1.3.0 к v1.4.2 с закрытым набором и штрафами за разрыв между публичными и закрытыми ответами, и первая пятёрка переставилась.