«Перенесли способность, а не её дефект»: GenON выпустила Hunmin-397B-A17B-CUA — модель управления компьютером, обученную на одном узле из восьми B200

Что выпустили и на чём

Hunmin-397B-A17B-CUA — универсальная 397-миллиардная vision-language модель с 17 млрд активных параметров на базе Qwen3.5-397B-A17B, дообученная под управление интерфейсом и многошаговые задачи на рабочем столе и в браузере. Репозиторий ведёт организация mncai — верифицированная компания GenON (genon.ai), у которой сейчас 165 публичных моделей и 53 участника. Ведущий проекта — Ходжун Ли (Hojun Lee), он же основной исследователь.

Пост в блоге описывает проект как эмпирическое исследование, а не как новый метод: авторы прямо оговаривают, что это «не новый метод квантизации и не новый метод объединения моделей» — усечённое SVD и task arithmetic были известны раньше. Вклад команды — в том, что эти инструменты применили к разнице весов, на порядки большей, чем даёт обычное дообучение, и измерили не только прирост целевой способности, но и то, что при переносе сохранилось.

Всё обучение шло на одном узле с восемью B200, и узел обслуживал больше, чем обучение: во время RL-этапа те же восемь GPU держали 96 настольных виртуальных машин (8 раннеров × 12 окружений), которые генерировали траектории. Релиз — объединённый BF16-чекпоинт примерно на 740 ГиБ; карточка модели указывает 396 802 360 816 параметров и 793,6 ГБ файлов весов. Лицензия — Apache 2.0, языки — английский и корейский.

Почему не стали просто дообучать

Исходный план был обычным: supervised-этап, затем обучение с подкреплением. На практике объём CUA-SFT, нужный для заметного прироста в управлении компьютером, начал разрушать общие способности — первым проседал корейский язык, и чем больше данных подавали, тем дальше уходило качество от базы.

Команда сформулировала задачу иначе: не «максимизировать счёт агента», а «улучшить управление компьютером, удержав корейские и общие мультимодальные способности рядом с базовыми». Сохранение способностей стало ограничением, а не пожеланием. Логика простая: 397-миллиардная универсальная модель нужна именно потому, что умеет отвечать на корейском, читать графики и держать разговор, а специализация под компьютер легко стирает эти умения — и потери не видны, если в наборе бенчмарков для computer-use их просто нет.

Что именно перенесли

Вместо конкуренции с уже специализированным чекпоинтом Qwen-CUA команда отнеслась к нему как к источнику, из которого можно перенести готовую способность. Сначала базу и источник прогнали через одно и то же обслуживание — один инстанс vLLM TP8, одна модель за раз — и увидели, что сильные стороны источника не универсальны: как агент он опережает базу на 29 пунктов OSWorld, но отстаёт на 10,54 пункта на ScreenSpot-Pro (высокое разрешение, наведение одним проходом) и на 4,52 пункта на корейском KMMLU-Redux. Причём это не общая слабость наведения: на OSWorld-G источник лучше базы (83,79 против 79,15), а уточняющий проход с приближением сокращает разрыв ScreenSpot-Pro с −10,54 до −3,14. Страдает прежде всего наведение на иконки: на тех же 1 581 элементах и трёх прогонах точность по тексту падает с 82,63 до 77,55, а по иконкам — с 56,73 до 37,36.

Дальше команда измерила расстояние между чекпоинтами по модулям. Нормы разницы оказались крупными: 39% у routed experts, 20% у attention, 24,8% у embed_tokens, 12% у lm_head, 11% у роутера MoE и 5,9% у shared expert — против 0,2–0,3% у собственных SFT-адаптеров, то есть переносимая разница весов более чем в сотню раз больше обычной. Чекпоинты родственны: хеши токенизаторов совпадают, косинусная близость соответствующих тензоров — 0,92–0,999.

Естественного места для среза в спектре не нашлось: отношение σ₂/σ₁ держится в диапазоне 0,86–0,95, а σ₆₄/σ₁ — 0,49–0,69, полный скан всех 512 экспертов на восьми слоях укладывается в ±10% от медианы. Поэтому ранг использовали как бюджет вмешательства, выбирая его по итоговому качеству, а не по спектральной энергии: ранг 448 для проекций внимания и shared-expert (адаптер занимает 3,0 ГБ) и ранг 64 для routed experts (57 ГБ, так как это 60 слоёв × 512 экспертов). embed_tokens, lm_head и роутеры MoE остались с базовыми весами — в итоговом чекпоинте embed_tokens побайтово совпадает с исходным по torch.equal.

Результат: перенос сработал сам, до всякого обучения

Проверяли перенос до собственного дообучения — иначе улучшение наведения можно было бы списать на более поздний SFT. Один только перенос поднял OSWorld-316 с 48,84 до 68,25, а наведение уже было выше базы, включая иконки, где источник терял больше всего: 58,0 против 56,73. Дефект источника при этом не перенёсся.

Постобработка добавила к переносу немного: +4,3 пункта на OSWorld 360 (66,2 → 70,5), то есть примерно пятую часть общего прироста над базой. Наведение дообучали на 8 670 отфильтрованных от шума примерах ScaleCUA-Data в нативном разрешении, ранговыми адаптерами rank 8 / α32 только на четырёх проекциях внимания — одна эпоха за 1 час 45 минут дала рост OSWorld-316 с 68,25 до 70,79. Затем шло обучение с подкреплением по GRPO: генерация на двух FP8-движках vLLM (по TP4), актор на Megatron-Core (TP1/EP8), переключение между генерацией и обучением через sleep/wake на тех же восьми GPU.

Итоговые числа под общим протоколом (image_max = 5, один прогон для агентских бенчмарков): OSWorld — 48,16 у базы, 70,45 у Hunmin, 77,12 у Qwen-CUA; WindowsAgentArena — 41,77 / 50,85 / 56,68. Наведение, три прогона: ScreenSpot-Pro 72,74 → 75,61 при 62,20 у источника, ScreenSpot-v2 95,20 → 96,23, OSWorld-G с уточнёнными инструкциями 79,15 → 86,80. По корейским бенчмаркам модель держится примерно в двух пунктах от базы: KMMLU-Redux 82,59 → 81,43, KMMLU-Pro 77,91 → 76,12, а на K-MMBench, K-SEED и IFEval-Ko даже чуть выше базы.

Чего авторы не утверждают

Qwen-CUA по-прежнему впереди в длинных агентских сценариях: разница с источником −6,67 пункта на OSWorld и −5,82 на WindowsAgentArena, и заявка Hunmin — про выбранную рабочую точку, а не про превосходство на агентских бенчмарках. Агентские бенчмарки прогнаны по одному разу, поэтому их результаты не усреднены по разбросу между запусками, а сравнение с публичными лидербордами авторы называют некорректным: все модели, включая базу и источник, оценивались в собственном окружении команды с одинаковыми промптами, параметрами декодирования и бюджетом визуальной истории.

Отдельно оговаривается причина, по которой перенос в принципе не заменяет обучение: способность пришла из разницы весов с чужим специализированным чекпоинтом, а его стоимость обучения в бюджет проекта не входит. Результат показывает, что можно извлечь из этой разницы, и не доказывает, что ту же способность можно выучить с нуля на данных при таком масштабе.

Один из самых практичных выводов касается объединения адаптеров. Команда заметила, что успешно прошедшее слияние ещё не доказывает, что эффект обучения сохранился: в одном случае после слияния обновления в FP8-базу модель показала тот же результат, что и база (0,471 против 0,471 на 192 задачах), и авторы честно перечисляют возможные объяснения — поглощение обновления реквантизацией, взаимно компенсирующие изменения или шум оценки, — не выбирая одно. Поэтому SFT-адаптер не вливали в базу, а перевели в ранг 24, заморозили и добавили сверху обучаемый ранг 16. Второй вывод — про supervised-этап на уже способной модели: на 35-миллиардном прокси стартовые точки после SFT выглядели хуже, чем вариант вовсе без SFT, но за десять шагов RL дали разный прирост (+1,21 против +6,63), то есть немедленный счёт после SFT не предсказывает, какая инициализация лучше для RL, — коррелирует с этим лишь доля корректных, пригодных для оценки траекторий, выросшая с 41% до 78–97%.