«Apertus 1.5»: открытые модели научились понимать изображения и звук при контексте 262 144 токена

Что именно вышло 15 октября

Публикация на Hugging Face — это release notes: она подводит итог релиза Apertus 1.5 и суммирует технический отчёт проекта. Сами веса, как прямо сказано в тексте, были выложены на Hugging Face раньше — 24 июля 2026 года и под лицензией Apache 2.0. То есть 15 октября к моделям добавилось описание: технический отчёт, оценка результатов, промежуточные чекпойнты и инструкции по воспроизведению.

Ключевые изменения перечислены списком: встроенное понимание изображений и звука, режим размышления, длинный контекст, улучшенное следование инструкциям, улучшенная работа с инструментами и более строгое следование Apertus Charter — уставу, который описывает ценности и принципы модели.

Apertus 1.5 — это продолженное предобучение модели первого поколения, а не новая архитектура: к модели на 8 млрд параметров добавили 4 трлн токенов текстовых и мультимодальных данных, к модели на 70 млрд — 2 трлн, итого 19 и 17 трлн токенов соответственно. Проект подчёркивает, что открытость касается не только весов: опубликованы данные, ценности и полные детали обучения.

Мультимодальность внутри токенизатора

Изображения и звук входят в модель не через отдельный зрительный энкодер, а через токенизатор: и то и другое превращается в дискретные токены и попадает в ту же последовательность, что и токены текста, — это раннее объединение модальностей. Изображения кодирует токенизатор Emu3.5: картинка 512×512 становится 1 024 токенами; звук — WavTokenizer, 40 токенов в секунду.

Расширяется только словарь, поэтому архитектура остаётся прежней, а обучение идёт со скоростью текстовой модели. Практическое следствие сформулировано прямо: модели понимают изображения и звук, но генерируют только текст. Препринт проекта описывает то же решение теми же словами — мультимодальность приходит через токенизатор, языковая голова остаётся текстовой, архитектура не меняется.

Как обучали: четыре этапа предобучения и пять — после обучения

Предобучение идёт в четыре этапа начиная с Apertus 1.0: сначала несвязанные данные — текст вместе с отдельными изображениями и аудио, чтобы модель освоила новые модальности; затем пары «изображение — подпись» и «аудио — транскрипт», чтобы связать их с языком; потом «остывание» на данных более высокого качества с большей долей математики и кода; и наконец постепенное расширение окна с 8 тыс. до 262 тыс. токенов.

Больше половины обучающих токенов — чисто текстовые, и это заявлено как способ сохранить языковые способности Apertus 1.0. Текстовые данные обновлены источниками FineWeb2-HQ+, FinePDFs и Nemotron-CC; новые данные, включая мультимодальные, соответствуют прежней планке: они публично доступны, разрешены лицензией, а отказы в robots.txt соблюдаются задним числом, и каждый источник перечислен в документе apertus-data-transparency.

Посттренировка состоит из пяти этапов: SFT, затем SFT с длинным контекстом, обучение с проверяемыми наградами (RLVR), выравнивание по предпочтениям (DPO) и завершающее выравнивание по уставу (SDPO) — в отчёте оно помечено как относящееся только к модели на 8 млрд параметров. SFT прошёл на 3,7 млн текстовых примеров плюс данные по изображениям и речи; рассуждения добавлялись только к тем запросам, которые модель ещё не решает без них, а данные для работы с инструментами ограничены траекториями, проверенными исполнением. RLVR работал примерно на 350 тыс. запросов по математике, коду, следованию инструкциям, мультиязычности и зрению, с включённым и выключенным режимом размышления. DPO улучшает диалог, работу с инструментами и безопасность на парах предпочтений, размеченных судьёй, а SDPO выравнивает модель по Apertus Charter через обратную связь судьи и самодистилляцию.

Режим размышления в этой версии — не отдельная модель, а флаг шаблона чата. По данным препринта он поднимает математические результаты модели на 8 млрд параметров на величину до 20 пунктов.

Что показывают оценки — по словам самих авторов

Объём оценок расширили: к текстовым тестам Apertus 1.0 добавили мультимодальные (изображения и аудио) и проверки режима размышления. Мультимодальные прогоны идут через конвейер MLLM-eval-suite, который объединяет два фреймворка — lmms-eval и VLMEvalKit; текстовые оценки основаны на форке lm-evaluation-harness, и репозиторий оценок опубликован.

Формулировки авторов сдержанны и приведены как их собственные: «всё ещё отставая от передовых открытовесовых моделей», релиз заметно улучшил код и следование инструкциям; Apertus 1.5 8B опережает сопоставимые по размеру открытовесовые модели на задачах следования инструкциям и мультиязычных задачах, а режим размышления помогает на сложных «рассуждающих» бенчмарках вроде AIME. Мультимодальные результаты, по их оценке, ближе к Gemma 4 12B и другим актуальным открытовесовым моделям; модель конкурентоспособна в понимании пространства среди открытовесовых моделей и в понимании документов и графиков среди открытых моделей.

Отдельно выделены швейцарские юридические задачи — по ним Apertus 1.5 идёт на уровне ведущих открытовесовых моделей, — и Last Translation Benchmark: там модель на 8 млрд параметров, по данным проекта, соответствует GPT-OSS-20B, но обходит Claude Haiku 4.5 и Google Translate.

Препринт добавляет результаты по классу полностью открытых моделей: среди них 8B лидирует по знаниям, следованию инструкциям и культурным бенчмаркам, а по следованию инструкциям обходит все модели из сравнения, включая открытовесовые. По изображениям и звуку, впервые для этого семейства, модель сильнее всего в понимании документов и в распознавании длинной речи и языков с малым числом ресурсов, тогда как специализированные модели зрения и звука остаются впереди в восприятии и в транскрипции английского и других языков с большой ресурсной базой.

Оценки как машиночитаемые записи

Результаты Apertus 1.5 публикуются в схеме Every Eval Ever (EEE), которую продвигает коалиция EvalEval: она фиксирует не только баллы, но и то, кто проводил оценку, как получал доступ к модели, какие были настройки генерации и как следует трактовать каждую метрику. Именно этих деталей обычно не хватает у лидербордов, и именно они объясняют, почему похожие баллы расходятся.

Схема не экзотика: та же инфраструктура используется Институтом безопасности ИИ Великобритании для открытой публикации своих оценок, а текстовые прогоны Apertus можно повторить на публичном форке lm-evaluation-harness — для него в EEE есть отдельный конвертер.

Структурированная отчётность об оценках полезна и вне исследований: EvalEval сопоставила Evaluation Cards с требованиями к управлению ИИ, включая статью 55 закона ЕС об ИИ и Кодекс практики для моделей общего назначения, и обнаружила, что схема EEE способна представить 56 из 60 элементов отчётности об оценке, которых требуют эти документы. Apertus дополнительно публикует сводку обучающего контента и добровольный документ по Кодексу практики.

Воспроизводимость, доступность и планы на 2.0

Технический отчёт документирует рецепты, абляции и смеси данных; промежуточные чекпойнты — базовые веса, SFT, RLVR и DPO — выложены отдельной коллекцией на Hugging Face, как и подготовленные наборы данных. Среди наблюдений, описанных в отчёте: мультимодальные данные, подмешанные к текстовым на этапе SFT, улучшают результаты во всех модальностях, а польза от мультимодальных трасс рассуждения переживает последующее чисто текстовое обучение с подкреплением — RL улучшает математику сильнее, если стартовать с чекпойнта, обученного с мультимодальными трассами.

Для пользователей указаны две готовые интеграции: Apertus 1.5 подключён в приложениях Proton Lumo и Infomaniak Euria. Доступ по API для разработчиков анонсировали несколько провайдеров, включая Swisscom, Infomaniak и Phoeniqs; остальные перечислены в руководстве по общему доступу, а технические инструкции — в карточках моделей и кратком руководстве. Проект также сообщает о пяти миллионах загрузок в аналитике Hugging Face.

Отдельно названо направление следующей версии: на саммите AI+X в Цюрихе команда объявила план Apertus 2.0 — разреженная архитектура типа MoE примерно на 600 млрд параметров в сумме, более длинное расписание обучения и приоритеты на агентов, математику и код.

Что осталось за рамками сообщения

Публикация — рассказ команды о своей же работе, а не независимая проверка: сравнения с Gemma 4 12B, GPT-OSS-20B, Claude Haiku 4.5 и Google Translate приведены без сторонней перепроверки, а препринт написан тем же проектом, то есть подтверждает формулировки, но не является независимым источником. Оговорки авторов при этом сохранены: они сами называют модели отстающими от передовых открытовесовых, а по звуку самый сильный результат — на длинной речи и языках с малой ресурсной базой.

Между выходом весов и публикацией release notes прошло почти три месяца: 24 июля 2026 года вышли сами модели, 15 октября — их описание, техотчёт и материалы для воспроизведения. Новых весов 15 октября не появилось, и в тексте нет данных о том, менялись ли чекпойнты с июля.

Возможности понимания речи описаны как экспериментальные, а генерация остаётся только текстовой — и это ограничение заявлено в самой публикации, а не выведено извне. Условий предоставления API у перечисленных провайдеров публикация не приводит: названы только компании и приложения, без цен, лимитов и сроков.