«Она училась решать по тексту — и научилась видеть»: AutoTrust выпустила открытую JEV-27B-VL с поддержкой изображений

Что выпустила AutoTrust

30 сентября 2026 года AutoTrust AI Lab опубликовала на Hugging Face модель autotrust/JEV-27B-VL — это autotrust/JEV-27B с поддержкой изображений. Покажите ей картинки и текст, задайте вопрос, и она ответит за один прямой проход, выдав калиброванную вероятность для каждого варианта; если вопрос требует размышления, та же модель думает пошагово, продолжая смотреть на изображения.

Репозиторий содержит неизменённые веса Qwen/Qwen3.8-27B, к которым добавлены адаптер System 1 и решающая голова (decision head) от autotrust/JEV-27B. Лицензия — Apache-2.0.

Ключевая деталь, из которой авторы и делают заголовок: решающая голова System 1 никогда не видела изображений при обучении, поэтому решения по картинкам — полностью zero-shot.

Одна модель, два способа отвечать

System 1 отвечает на типизированные вопросы — «да/нет», «выбери один из 2–256 вариантов», «оцени по шкале 0–5» — по тексту и изображениям, возвращая калиброванную вероятность для каждого варианта за один прямой проход; типичное время — около 0,1 с. Отдельного разбора и «гимнастики с промптами» не требуется: на вопрос «это сценарий, в котором пользователь кликнет это видео?» модель отвечает в духе {"true": 0.83, "false": 0.17}.

System 2 — это неизменённая Qwen3.8-27B, которая при необходимости рассуждает пошагово и тоже принимает изображения; её ответ занимает секунды. Решения System 1 подаются по обычному HTTP: скрипт serve_decide.py добавляет к серверу vLLM маршрут POST /v1/decide, который сам собирает промпт решения, читает токены вариантов и применяет смещение и температуру решающей головы, так что подойдёт любой HTTP-клиент.

Вопрос выбора принимает 2–256 вариантов без дообучения: первые 16 помечаются буквами A–P, на которых голова и обучалась, дальше метки продолжаются Q–Z и двухбуквенными комбинациями (AA, AB и так далее), которые остаются одиночными токенами; поле adaptation в ответе сообщает, был ли режим native (до 16 вариантов) или wide-labels.

Zero-shot рекомендация видео: обложки вместо истории просмотров

Главный эксперимент — короткие вертикальные видео, где лента должна решить для каждого пользователя и каждого нового ролика, показывать его или нет. Оценка шла на публичном датасете MicroLens-100k с оригинальными обложками: для 200 пользователей видео, которое человек реально посмотрел следующим, спрятали среди 19 роликов, которые в те же дни смотрели другие, — это то, что показывала бы лента, — и каждый метод ранжировал 20 кандидатов.

Модель смотрит на обложки последних пяти просмотренных видео и на обложку кандидата и возвращает вероятность P(этот пользователь посмотрит его) за один прямой проход, без логов взаимодействий, без эмбеддингов товаров и без обучения. Результаты: случайный порядок — AUC 0,489, попадание в топ-5 — 20,5 %, nDCG@10 — 0,219; сходство заголовков по TF-IDF — 0,602, 38,5 %, 0,367; JEV-27B-VL только по заголовкам — 0,649, 45,5 %, 0,399; JEV-27B-VL только по обложкам — 0,727, 59,0 %, 0,498; item-based коллаборативная фильтрация на истории 59 045 пользователей — 0,728, 49,0 %, 0,503.

Итог: по AUC модель совпадает с коллаборативной фильтрацией — разница 0,000 при 95-процентном интервале от −0,041 до +0,040, — а по попаданию в топ-5 даже выше: 59 % против 49 %. Дополнительно решается проблема холодного старта: коллаборативной фильтрации нужна история совместных просмотров, а модели достаточно обложки, поэтому новые видео и новые авторы ранжируются с первой секунды. Картинки несут больше вкуса пользователя, чем заголовки: только по обложкам модель набирает на 0,078 AUC больше, чем только по заголовкам, — 95-процентный интервал от +0,031 до +0,126. Двадцать обложек-кандидатов модель оценивает примерно за 2,6 с на одном GPU.

Наглядный пример: пользователь смотрел манга-комментарии и дубляж, включая часть 1.6 одной серии; среди 20 кандидатов модель поставила часть 1.9 той же серии первой с вероятностью клика 1,00 — и это оказалось то самое видео, которое человек посмотрел дальше; серию она узнала только по рисунку на обложке. Тот же однопроходный механизм работает для любого вопроса об изображении: обложка с большой тарелкой еды получает «shows food or cooking» = 1,00, а скриншот игры — «video game» = 1,00 из четырёх категорий.

Роборука и управление компьютером

Обновление от 3 октября 2026 года добавляет два прикладных сценария, где каждый шаг — одно решение System 1: изображение или скриншот на входе, вероятность для каждого действия на выходе, за один прямой проход.

Роборука в симуляции MuJoCo на каждом шаге смотрит на изображение верхней камеры и отвечает на два вопроса — цель слева или справа от захвата и выше или ниже, — двигаясь соответственно и уменьшая шаг вдвое при смене ответа. Она выполнила 75 % из 20 случайных сцен — лучший результат в семействе JEV (у JEV-9B 50 %, у GEV-26B-Decide 40 %); каждый схваченный кубик оказался в лотке (15 из 15), все промахи — это захват с отклонением 3,0–3,7 см, а одно решение занимает около 240 мс (239 мс). Попытка выбирать одну из восьми команд мотора напрямую провалилась: 0 из 10 сцен.

Управление компьютером идёт в настоящем браузере (headless Chromium): каждый кликабельный элемент получает пронумерованную рамку, System 1 выбирает следующий клик или объявляет задачу выполненной, браузер кликает, цикл повторяется. Модель прошла 95 % из 60 случайных многошаговых задач (магазин, настройки, почта; по 3–7 кликов каждая) примерно за 0,26 с на клик. Важная оговорка: если оставить только нумерованные рамки без текста элементов, результат падает до 10 % — модель слишком рано объявляет задачу выполненной.

Судья агентов и мультимодальный судья

На Plan-RewardBench (ACL 2026) модель отвечает, какая из двух полных траекторий агента с инструментами лучше: на 1 171 паре (планирование, восстановление после ошибок, безопасный отказ, нерелевантность инструмента) System 1 даёт 73,2 % macro-average accuracy — вершина таблицы статьи (Qwen-Plus 70,0, DeepSeek-V3.2 69,6, Inf-ORM-Llama3.1-70B 69,2, Gemini-3-Flash 69,1, GPT-5 68,5).

На AgentRewardBench (McGill, 2025; 1 302 экспертно размеченных траектории) System 1 отвечает, действительно ли веб-агент выполнил задачу, по цели, действиям, финальному сообщению и итоговому скриншоту. Её точность выше, чем у любого судьи официальной таблицы, при собственном recall этого судьи: например, при recall 47,8 % у WebJudge (o4-mini) точность модели — 87,7 % против 82,0 % у самого судьи; при recall o4-mini 55,9 % (rule-based) — 86,2 % против 83,8 %. При пороге 0,5 точность 78,4 и recall 70,2, AUROC 0,91; все 1 302 оценки заняли около четырёх минут на одном GPU.

Как мультимодальный судья модель на VL-RewardBench (CVPR 2025, 1 247 человеко-проверенных пар) показывает 78,3 % общей точности — выше всех 26 моделей официальной таблицы, обновлённой в мае 2025 года. На более новом Multimodal RewardBench 2 (Meta, декабрь 2025; по 1 000 экспертных пар на задачу) результат скромнее: 69,2 в категории text-to-image и 63,8 в среднем по четырём задачам — примерно на уровне GPT-4.1 (63,5) и Qwen3-VL-32B (64,6), тогда как GPT-5 (72,2) и Gemini 3 Pro (76,3) остаются впереди, а редактирование изображений — самая слабая категория модели. Авторы отдельно отмечают, что судейство text-to-image отстаёт от GPT-5 всего на 1,3 пункта.

Текстовые решения не изменились

Добавление зрения не сломало прежние текстовые решения: JEV-27B-VL даёт те же ответы, что и JEV-27B, — на 24 из 24 эталонных решений верхний вариант совпал, а на 1 000 решениях «проверить ответ» средняя разница вероятностей составила 0,010 при том, что 99,8 % остались по ту же сторону от 0,5.

Часть текстовых результатов авторы приводят по измерениям JEV-27B. На RewardBench (2 985 человеко-проверенных пар «лучший/худший ответ») System 1 набирает 89,9 за один прямой проход на каждый порядок, опережая опубликованные результаты Gemini 1.5 Pro (88,2), GPT-4o (86,7) и Claude 3.5 Sonnet (84,2); по точности она не уступает той же модели, думающей перед судом (0,900 против 0,902 на выборке из 400 пар), но примерно в шесть раз быстрее.

Защита от выдуманных ответов работает так: System 2 отвечает на 1 000 вопросов викторины и угадывает 71 % раз, после чего System 1 проверяет каждый ответ; если отвечать только на ту половину, которой модель доверяет больше всего, точность поднимается до 96,4 %, тогда как опора на собственную заявленную уверенность даёт лишь 87,2 %. Когда System 1 говорит 0,97 или больше, ответ был верен в 99 % случаев.

В zero-shot рекомендации новостей на реальных пользователях MSN News (датасет MIND) модель по заголовкам, которые человек кликал, показывает AUC 0,642 без обучения — выше любого zero-shot-бейзлайна (лучший 0,606) и выше обученных на датасете ранжировщиков LightGBM (0,590 и 0,616); добавленная к обученному ранжировщику как одна фича, она стоит как вчетверо больше обучающих данных. В переранжировании поиска nDCG@10 на TREC-COVID достигает 0,858 против 0,793 у bge-reranker-v2-m3 и 0,623 у BM25. Наконец, модель «думает только когда нужно»: при пороге 0,70 70 % вопросов закрываются за 0,11 с, а точность растёт с 0,792 до 0,892 — почти как если думать над каждым вопросом (0,917). У самой System 2 на HumanEval pass@1 (жадная генерация) 78,0 % — ровно столько же, сколько у Qwen3.8-27B.

Контекст, железо и запуск

Собственный контекст базовой модели — 262 144 токена (256K), и System 1 принимает промпты такой длины, если vLLM запущен с --max-model-len 262144. Решения, зависящие от одной фразы, спрятанной на случайной глубине длинного реального текста, проверяли на 4K, 32K, 64K, 128K, 192K и 250K токенов: 20 из 20 верных на каждой длине, средняя вероятность правильного ответа около 0,997, медианная задержка от 0,6 с до 28,7 с. KV-кэш занимает примерно 65 КБ на токен, поэтому полный промпт на 256K требует около 17 ГБ сверх 52 ГБ весов; на GPU с 80 ГБ авторы советуют начинать с --max-model-len 131072.

Запуск описан одной командой: hf download autotrust/JEV-27B-VL --local-dir JEV-27B-VL, затем bash JEV-27B-VL/serve.sh — это vLLM на порту 8000, которому нужен один GPU от 80 ГБ. Обязателен флаг --max-num-seqs 8: при большем числе последовательностей в батче LoRA-путь vLLM для этого мультимодального класса модели возвращает неверные вероятности System 1 (текстовую JEV-27B это не затрагивает), а лишние запросы просто встают в очередь. На одном B200 с этим ограничением 24 коротких текстовых решения укладываются примерно в 1,4 с, а 4 000 решений по изображениям с шестью картинками каждое — в 316 с, то есть около 13 в секунду.

Изображения прогоняются через процессор Qwen3.8; предварительное уменьшение крупных картинок, например до 448 px, сокращает число визуальных токенов и задержку. Все эксперименты, код и интерактивное веб-приложение (рекомендация изображений, рекомендация новостей, судья, защита от галлюцинаций и другое) собраны в проекте JEV-27B-DEMO.

Ограничения

Авторы перечисляют их прямо. Решающая голова System 1 обучалась на тексте, поэтому решения по изображениям zero-shot: в описанном эксперименте они хорошо упорядочены, но их калибровку на визуальных задачах систематически не измеряли. Результат по рекомендации коротких видео — офлайн-оценка на одном датасете из 200 пользователей и только по обложкам.

Варианты выбора длиннее 16 используют метки, которых голова не видела при обучении: точность держится, но калибровку измеряли лишь на одном датасете. Тест длинного контекста — это одно-фактовое решение по тексту; длинные документы с изображениями и более сложные рассуждения по ним не измерялись.