«Модель класса дата-центра — на ноутбуке»: VIDRAFT выпустила 4-битную сборку Darwin-180B на 111 ГБ

Что выпустила VIDRAFT

2 октября 2026 года VIDRAFT_LAB опубликовала на Hugging Face статью о POCKET-Darwin-180B — 4-битной GGUF-сборке модели Darwin-180B-RSI-R3 для llama.cpp. Репозиторий называется FINAL-Bench/POCKET-Darwin-180B-GGUF, базовая модель — Qwen3.8-Flash-Next от Alibaba, лицензия — Qwen Community License 1.0.

Оригинал построен методом model-level recursive self-improvement (RSI): модель сама решает проверяемые задачи, оставляет только те собственные решения, которые прошли проверку, и учится на них — человеческих решений и готовых цепочек рассуждений не используется. Обучение затрагивает только пути внимания и общие эксперты, а 512 маршрутизируемых экспертов, роутер, послойные n-gram-эмбеддинги и MTP-голова остаются от базовой модели.

Авторы заявляют, что Darwin-180B-RSI находится на первых местах в семи официальных таблицах Hugging Face. Речь идёт о самооценке самой команды, а не о независимой проверке.

Почему 180-миллиардная модель укладывается в ноутбук

Darwin-180B — разреженная MoE-модель: из 512 экспертов на каждый токен работают десять, то есть в каждый момент активны примерно 3 млрд параметров из 180 млрд. Именно на эту разреженность опирается сборка: llama.cpp не загружает все веса в память, а отображает файл через memory mapping и читает нужные эксперты прямо с SSD.

Разница в требованиях к железу принципиальная: BF16-оригинал занимает 360 ГБ в 131 файле и требует сервера из 4–8 ускорителей B200 или восьми H100 по 80 ГБ, тогда как сборка работает на ноутбуке с 8 ГБ видеопамяти и 32 ГБ ОЗУ, на мини-ПК со 128 ГБ памяти или на серверном CPU без GPU. Оценка стоимости в публикации — около $350 тыс. за сервер из восьми H100 против примерно $1 500 за игровой ноутбук; авторы помечают её как отраслевую оценку.

Прививочное квантование: 300 тензоров вместо повторного сжатия

POCKET не квантуется с нуля. За основу взята публичная сборка Unsloth UD-Q4_K_XL базовой модели, а сверху заменены ровно те 300 тензоров, которые изменило RSI-обучение, — в том же формате Q8_0, в котором они хранятся в этой раскладке. Все остальные байты совпадают с базовой сборкой.

Перед выпуском авторы отчитались о трёх проверках: все 300 целевых тензоров нашлись и совпали по типу и размеру, чтение подтвердило совпадение с R3 (300 из 300); 570 незатронутых тензоров побайтово совпадают с базовой сборкой; сборка загружается и работает в llama.cpp b11048. Поскольку заменяются только изменённые части поверх уже проверенной квантованной сборки, качество переходит к ней целиком.

Одна деталь важна для понимания границ применимости: визуальный энкодер в сборку не вошёл — это текстовая модель.

Что показали замеры качества

Основное измерение — MMLU-Pro: 2 000 вопросов, стратифицированных по предметам и зафиксированных хешем идентификаторов (набор не выбирался по результатам), temperature 1.0, top-p 0.95, top-k 20, до 131K токенов, сравнение попарно на одних и тех же вопросах. BF16-оригинал R3 дал 87,65 %, 4-битная сборка — те же 87,65 %, разница +0,00 пункта с 95-процентным доверительным интервалом [−0,95, +1,00]; усечённых ответов ноль.

Ответы при этом стали короче: в среднем 3 694 токена против 4 322 у сборки базовой модели в том же формате, то есть на 14,5 % меньше. На отложенном наборе SuperGPQA из 1 000 вопросов, не использовавшихся ни при обучении, ни при отборе, раунд R3 дал +1,03 пункта к предыдущему раунду (95 % ДИ [+0,05, +2,00]).

Отдельно авторы изолировали эффект RSI внутри одной 4-битной раскладки: RSI-раунд против базовой модели R0 — 61,55 % против 59,10 % при усреднении четырёх попыток и 65,40 % против 63,40 % при голосовании большинством, парная разница +2,45 пункта (95 % ДИ [+1,54, +3,36]). До 16K-лимита генерации дошли 675 из 4 000 сэмплов против 798 у базовой сборки, расход токенов ниже на 13 % на вопрос (геометрическое среднее) и на 10 % в сумме.

Замеры на реальных устройствах

Ноутбук: NVIDIA GeForce RTX 5060 Laptop с 8 ГБ видеопамяти, 32 ГБ ОЗУ и NVMe-накопителем — 4,17 токена в секунду, эксперты читаются с SSD по требованию. Сервер без видеокарты: AMD EPYC 9365, один сокет, 16 потоков — 18,4–21,0 токена в секунду на генерации (54–68 токенов в секунду на промпте) при пике памяти 78,8 ГБ и загрузке 85 секунд.

Мини-ПК со 128 ГБ ОЗУ держит всю модель в памяти без GPU. На NVIDIA DGX Spark со 128 ГБ унифицированной памяти авторы приводят 39,25 токена в секунду для эталонной сборки того же размера и раскладки. На одной B200 (183 ГБ) сборка, по данным карточки, обслуживает 8–16 параллельных сессий с контекстом 131K при 110–140 ГБ видеопамяти.

Рекомендуемый минимум — 32 ГБ ОЗУ, 8 ГБ видеопамяти и 120 ГБ свободного NVMe; больше памяти означает, что большая часть модели остаётся резидентной и работает быстрее. Пик памяти на CPU ниже размера файла, потому что послойные n-gram-эмбеддинги llama.cpp читает из файла по требованию. Замеры пропускной способности DGX Spark именно для этой сборки авторы называют следующим шагом.

Семь первых мест — по самооценке авторов

Для оригинальной BF16-модели приводятся результаты по семи официальным таблицам Hugging Face, и во всех заявлено первое место: GPQA Diamond — 94,44, MMLU-Pro — 88,12, AIME 2026 — 100, HMMT Feb 2026 — 100, MMMU-Pro (vision) — 79,48, LEXam — 68,94, LEXam-hard — 45,72. Блог прямо помечает эти числа как самооценку с голосованием по нескольким сэмплам.

Настройки по дисциплинам отличаются: AIME 2026 — голосование по 16 сэмплам при средней точности 98,75, HMMT Feb 2026 — 100 при средней 96,59, GPQA Diamond — голосование максимум по 16 сэмплам, MMLU-Pro — одиночный сэмпл, MMMU-Pro — голосование по трём, LEXam — голосование по четырём (одиночный сэмпл 60,54), LEXam-hard — одиночный ответ с судейством DeepSeek-R1-0528 по официальному eval.yaml.

В сравнительной таблице с чужими моделями авторы приводят опубликованные результаты конкурентов: Kimi-K2.6 — 96,4 на AIME 2026, DeepSeek-V4-Pro — 87,5 на MMLU-Pro, Qwen3.5-397B-A17B — 93,33 на AIME 2026 и 87,8 на MMLU-Pro.

Встроенная уверенность и запуск

В сборку положили механизм Zero-Token Confidence: он считывает признак «будет ли ответ правильным» из скрытого состояния модели на последнем токене промпта — до генерации, одним прямым проходом, без второго прохода и без второго модели-судьи. В самооценке на тех же 2 000 вопросов MMLU-Pro показатель AUC составил 0,758, точность на 20 % самых уверенных вопросов — 97,5 %, а просмотр 20 % наименее уверенных вопросов отлавливает 46 % всех ошибок. Файл пробы (32 КБ), скрипт для llama.cpp и патч для выдачи скрытых состояний лежат в репозитории в каталоге ztc/.

Для запуска требуется llama.cpp b11048 или новее (архитектура qwen4exp). В публикации приведены три варианта: llama-server -m POCKET-Darwin-180B-UD-Q4_K_XL-00001-of-00004.gguf -ngl 999 -fa on -c 131072 --jinja для DGX Spark или одной большой видеокарты, тот же запуск с --cpu-moe и -c 8192 для ноутбука с 8 ГБ видеопамяти и 32 ГБ ОЗУ, и -ngl 0 -t 16 --load-mode none для режима только на CPU.

Рекомендуемые параметры сэмплирования — temperature 1.0, top-p 0.95, top-k 20; это рассуждающая модель, поэтому ей нужно не меньше 2 048 выходных токенов, а рассуждение возвращается в поле reasoning_content.

Кому это адресовано

Аудиторию авторы называют прямо: организации, которые не могут отправлять данные во внешнее облако, — оборонка, финансы и государственный сектор; модель такого класса теперь может работать без подключения к интернету, на внутреннем сервере или одном мини-ПК.

Сборка выложена и на ModelScope с китайской карточкой модели, чтобы разработчики в Китае могли скачать её напрямую. Организация VIDRAFT на ModelScope (FINAL-Bench) имеет там подтверждение Research Institution; авторы добавляют, что среди проверенных ими корейских AI-организаций VIDRAFT — единственная с такой отметкой.