«Модель уже знает, что ошибается»: VIDRAFT выпустила ZTC — вердикт из внутреннего состояния за ноль токенов

20 сентября 2026 года команда FINAL-Bench, стоящая за VIDRAFT, опубликовала на Hugging Face статью о методе Zero-Token Confidence и выпустила к нему два чекпоинта: Darwin-397B-ZTC, который судит свои ответы, и ZTC-Judge-27B, который оценивает ответы чужих моделей.

Идея метода — не спрашивать модель о её уверенности, а читать её внутреннее состояние: один прямой проход, ноль сгенерированных токенов и калиброванная вероятность на выходе.

Авторы противопоставляют два числа: если попросить модель словами оценить собственную уверенность, на 2 018 элементах получается 0,5000, то есть ровно бросок монеты, а чтение скрытого состояния на 539 элементах PubMedQA даёт 0,8801. В карточке то же сопоставление выглядит как 0,7646 против 0,8801 с выигрышем +0,1155, а контроль перестановкой даёт z = 13,31: если перемешать метки, сигнал исчезает.

Что именно считывает проба

В карточке Darwin-397B-ZTC проба описана как файл.npz на 45 КБ: вектор весов, члены стандартизации и константы калибровки. Вся интеграция — одно умножение матрицы на последнее скрытое состояние размерности 4 096 и логистическая функция поверх результата: вторая модель не нужна, дополнительные токены не тратятся, сетевой вызов не делается.

Проба привязана к скрытому пространству конкретной модели и на другие не переносится, а запуск на другой ревизии базовых весов выдаёт молча неверные оценки — поэтому совпадающие веса лежат в том же репозитории, а не только константы.

ZTC-Judge-27B устроена иначе: она принимает вопрос и готовый ответ любого происхождения, делает один прямой проход и берёт последнее скрытое состояние размерности 5 120. В репозитории две пробы — линейная на 59 КБ и криволинейная на 5,3 МБ с 256 опорными точками и RBF-ядром; именно вторая даёт число из таблицы лидерборда, а линейная остаётся для случаев, когда одно умножение важнее разницы.

Цена гейта: 0,0615 секунды против 1,631 секунды

Измерения на четырёх B200 в режиме 27B: генерация одного ответа-кандидата занимает 1,631 с, а гейт ZTC — 0,0615 с, то есть в 26 раз дешевле работы, которую он прикрывает. Darwin-397B прошёл 2 018 элементов за 270 секунд на восьми B200 — 0,13 с на элемент вместе с прямым проходом.

Про саму пробу в карточке сказано отдельно: добавленная задержка — 0,52 мс, то есть 0,003 % от стоимости генерации, и она не зависит от длины ответа или траектории.

Отсюда практический вывод авторов: верификатор, который генерирует токены, конкурирует с агентом за один и тот же бюджет, а верификатор, который только читает, стоит примерно как ошибка округления, поэтому гейтить можно каждое действие, а не выборку из них.

Где ZTC стоит на исправленной таблице

Typed Decision Leaderboard считает верификаторы разных поставщиков на одном наборе: 2 018 элементов, пять доменов и 508 неверных ответов, одинаковые метки и один стенд. В версии от 20 сентября 2026 года, помеченной как исправленная, первое место занимает ZTC (397B) с AUC 0,7364, второе — JEV от TypeSafe AI с 0,7350, третье — ZTC (27B) с 0,7282.

Ниже идут GPT-5.2 в роли судьи (0,7148), open-jev 4B (0,6844), ZTC (9B) 0,6506, Qwen3-Next-80B в роли судьи (0,6366), ZTC (4B) 0,6360, базовая линия по длине, цифрам и формату ответа (0,6223), GPT-4o-mini (0,5878), Gemini 2.5 Flash-Lite (0,5822), Patronus Lynx 8B (0,5179), Laya-Typed-Decisions (0,5144), самооценка самой модели (0,5000) и Laya-Multilingual (0,4796).

Доверительный интервал на разрыв между первым и вторым местом — от −0,0189 до +0,0316: он содержит ноль, поэтому таблица ранга между ними не присваивает, и карточка повторяет это явно. Vectara HHEM-2.1 (0,4852) вынесена из ранжирования: она отвечает на вопрос, следует ли ответ из предоставленного документа, а документа в этом наборе нет.

Разбивка по доменам показывает, что преимущество не сплошное: на профессиональных экзаменах ZTC (397B) даёт 0,8660, ZTC (27B) — 0,8462, JEV — 0,7981 при базовой линии 0,7138; на научных рассуждениях впереди JEV с 0,8421, тогда как ZTC (397B) опускается до 0,6287, ниже базовой линии 0,7272, а ZTC (27B) держит 0,7410; в катастрофах и инструкциях безопасности JEV (0,7620) опережает ZTC (397B) с 0,7319, а в общих многошаговых рассуждениях ZTC (27B) чуть выше крупного варианта — 0,6172 против 0,6072.

Что в анонсе разошлось с таблицей

Таблица в самом анонсе приводит другие числа: 0,7394, 0,7335 и 0,7255 при базовой линии 0,7036. Они совпадают с прежним, докаректировочным состоянием: живой файл лидерборда и карточки моделей дают 0,7364, 0,7350, 0,7282 и 0,6223.

Причину правки таблица описывает сама: на 198 элементах научных рассуждений (9,8 % набора) поле с вопросом оказывалось пустым, потому что исходное поле называлось prompt, а стенд читал q, и все верификаторы в этом блоке судили только по ответу. После перезамера порядок не изменился, а разрыв между первым и вторым местом сузился с 0,0059 до 0,0014.

Строку базовой линии измеряли другой линейкой — 400 экзаменационных элементов и случайные фолды, отсюда 0,7036, — и после перезамера по правилам таблицы (те же 2 018 элементов, исключение домена, взвешенное среднее по доменам) получилось 0,6223 при неизменном наборе признаков. В примечании к строке сказано прямо: признаки те же, значение другое, потому что другая линейка.

Больше параметров — не значит лучше

На одних и тех же 400 элементах в режиме судьи проба на Darwin-397B даёт 0,8228 (z = 9,66), на Qwen3.5-27B — 0,8171 (z = 9,43), а на Qwen3.8-Flash-Next класса 180B — 0,7146 (z = 5,83). В карточке тот же стенд на 400 элементах KMMLU дополнен меньшими моделями: Qwen3.5-9B — 0,7297, Qwen3.5-4B — 0,7284, открытый судья на 4B — 0,6844.

Объяснение авторов — в геометрии представлений: у модели класса 180B скрытая ширина 2 560 и 36 из 48 слоёв работают на линейном внимании, а проба читает ровно один вектор; узкое скрытое состояние хуже несёт вердикт, а линейные слои сжимают то глобальное сравнение, которое этому суждению нужно. Вывод сформулирован так: качество пробы предсказывают ширина скрытого состояния и доля полного внимания, а не число параметров.

Что заявлено у 397B и что оговорено у судьи

Карточка Darwin-397B-ZTC описывает архитектуру как Qwen3_5MoeForConditionalGeneration: 397 млрд параметров всего и 17 млрд активных при 512 экспертах (10 маршрутизируемых и один общий на токен), 60 слоёв, скрытая размерность 4 096, гибридное внимание из 45 линейных и 15 полных слоёв, точность FP8 в формате compressed-tensors W8A8, 418,7 ГБ на диске, контекст 262 144 токена и лицензия apache-2.0.

Там же заявлен GPQA Diamond 93,43 % — все 198 элементов, greedy, одна выборка, без тестового движка; в таблице сравнения рядом стоят GPT5.2 с 92,4, Gemini-3 Pro с 91,9, Qwen3.5-397B-A17B с 88,4 и Claude 4.5 Opus с 87,0, а базовой моделью указана Qwen/Qwen3.5-397B-A17B.

Границы применимости второго чекпоинта перечислены прямо: это не проверка на соответствие документу и не классификатор безопасности, оценка не является калиброванной вероятностью и годится для ранжирования и порога. Самый слабый домен — общие многошаговые рассуждения с 0,6172, гарантии даны только по пяти измеренным доменам, а ответ длиннее контекстного окна обрезается до оценки.

Демонстрация, самооценка и открытые места

В браузерной аркаде три полосы за 400 матчей набрали: без гейта −3,9, с текстовым верификатором +13,0, с ZTC +29,1 и 98 % выигранных матчей; гейтирование подняло точность исполненных действий с 49 % до 65 %, а за те же 300 секунд ZTC успевает провести в 2,2 раза больше действий.

Режим самооценки в таблице измерен не везде: в домене, где ответ — число (катастрофы и безопасность), он не применяется, а на научных рассуждениях после исправления дал 0,5143 у 397B и 0,5447 у 27B, то есть снова монету. На трёх других доменах, где режим работает, 397B показывает 0,7905 в биологии и медицине, 0,7433 на профессиональных экзаменах и 0,6672 в общих многошаговых рассуждениях.

Измерение GPT-6 Astra в роли судьи в таблице помечено как идущее, а корректировка open-jev 4B приостановлена: стенд воспроизведения расходится с реализацией вышестоящего проекта.

Что из этого следует

Практическая ценность ZTC не в первом месте, а в цене: гейт, который не генерирует токенов, можно держать включённым на каждом шаге траектории, тогда как проверка задним числом по сгенерированному вердикту для необратимого действия остаётся протоколом о происшествии.

Осторожность задаёт та же таблица: разрыв между двумя первыми системами статистически неразличим, базовая линия по длине и формату стоит 0,6223, и под ней оказываются GPT-4o-mini, Gemini 2.5 Flash-Lite, Patronus Lynx 8B и Laya-Multilingual.

Отдельный практический сигнал — строка ZTC (4B): проба на небольшой модели рассчитана на ноутбук, CPU и закрытый контур, даёт 0,6360 в целом и 0,7787 на профессиональных экзаменах, то есть на 0,065 выше базовой линии там же, хотя в остальных доменах запас невелик.