Чат, решения и расшифровка речи из одной точки: IBM выпустила Granite Switch 4.1 в размерах 8B и 30B

Что именно выпущено

Блог описывает Granite Switch как проект, представленный прошлой весной и построенный вокруг модульной сборки моделей; теперь к нему добавлены версии 4.1. Модели Granite-Switch-4.1-8B и -30B собраны так, чтобы «эффективно переключаться между ответами на естественном языке, общими и специализированными решениями и задачами speech-to-text — всё из одного хостируемого endpoint».

Конкретно названы три составные части: новый Decision-адаптер (aLoRA) для решений общего назначения (в тексте он иллюстрируется ссылкой «v1/systemone»), специализированный Guardian-адаптер и энкодер Granite-Speech-5.0-Turbo-CTC для расшифровки аудио.

Карточка старшей модели уточняет состав: базовая ibm-granite/granite-4.1-30b на 30 млрд параметров с контекстом 128K, два адаптера — decision и guardian-core из granitelib-guardian-r1.0 — и встроенное аудио через ibm-granite/granite-speech-5.0-470m-turboctc на 470 млн параметров для английского. Лицензия — Apache 2.0, дата релиза в карточке — 14 октября 2026 года, поддерживаемые бэкенды — HuggingFace Transformers и vLLM.

Младшая конфигурация повторяет ту же схему на базе granite-4.1-8b; отдельно существуют preview-варианты на 3B, 8B и 30B с полным набором адаптеров Granite Libraries, но без аудио.

Дата выпуска в двух публикациях расходится на сутки

Пост в блоге датирован 15 октября 2026 года, а обе карточки моделей указывают в поле Release Date 14 октября. Ни один из трёх документов эту разницу не объясняет: в блоге нет ссылки на более раннюю публикацию весов, в карточках нет ссылки на блог как на дату анонса.

Для читателя это значит, что «дата релиза» здесь — атрибут карточки на Hugging Face, а не подтверждённый день публичного анонса; расхождение ничем в первоисточниках не закрыто.

Как устроена сборка

Карточка описывает механизм как «coarse-grained expert switching»: один адаптер активен во всех слоях на протяжении непрерывного отрезка токенов. Лёгкий switch-слой (обычное внимание) распознаёт управляющие токены во входе и выдаёт для каждой позиции индекс адаптера, который сообщает слоям декодера, какие веса LoRA применить. Адаптеры включаются по требованию — через управляющие токены в chat template, а вызывающему достаточно передать имя адаптера.

Перечислены четыре свойства схемы: нормализация KV-кэша (каждый адаптер видит только KV-кэш базовой модели и никогда — внутреннее состояние другого адаптера), отсутствие совместного обучения (адаптеры разрабатываются, тестируются и публикуются независимо), один checkpoint-файл для HuggingFace и vLLM без конвертации, и отсутствие правок кода — выбор адаптера целиком происходит внутри chat template.

Блог добавляет инженерную сторону: адаптеры сделаны как cache-efficient Activated LoRA, поэтому KV-кэш, созданный генерацией базовой модели, переиспользуется для последующих решений на адаптерах; к этому добавлены недавние вклады команды в vLLM для ускорения инференса низкоранговых адаптеров и совместно размещённый ASR-энкодер. Вся сборка, по утверждению авторов, занимает на GPU примерно столько же VRAM, сколько заняла бы одна базовая модель.

Архитектурно это плотный decoder-only трансформер (GQA, RoPE, SwiGLU, RMSNorm) с контекстом 131 072 токена и списком из двенадцати языков: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский.

Речь на том же endpoint — и границы этой речи

Расшифровка идёт на том же endpoint, что чат и решения, отдельный speech-сервер не нужен, а способ вызова модели не меняется: входящее аудио расшифровывает встроенная Granite Speech 5.0 TurboCTC (470 млн параметров, английский, неавторегрессивный conformer CTC-энкодер), после чего транскрипт подставляется в контекст чата вместо аудио-части.

Границы названы там же: энкодер речи и языковая модель пока не обучены совместно — обучаемой проекции, которая связывала бы их, ещё нет; распознавание работает только на английском, выдаёт текст в нижнем регистре и без пунктуации, а управлять декодированием во время генерации нельзя. Отдельно предупреждается, что ошибка распознавания может незаметно изменить то, на что отвечает модель или адаптер.

Демонстрационная сборка описана в блоге так: granite-switch-4.1-8b расшифровывает аудио, делает сводки, проверяет содержимое на вредоносность и прогоняет ещё 15 пользовательских флагов — всё на одном endpoint и в реальном времени.

Замеры: что показано числами, а что — словами

Единственные опубликованные числа по качеству относятся к Decision-адаптеру и стоят в карточке 30B-модели: он оценивался на публичном fast-подмножестве Decision Index (1 068 строк) в редакции v0.3, причём двумя способами — локально и за хостируемым vLLM-endpoint, результаты разошлись в пределах примерно 0,6 балла, и ниже приведены числа хостируемого варианта. Итог — 50,1 из 100; по областям: Knowledge 32,4, Language 58,6, Retrieval 49,8, Tools 76,5, Arts 26,4.

Сравнение Guardian-адаптера с конкурентами дано без цифр: в блоге сказано, что он «в среднем» обходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash на задачах решений, связанных с безопасностью, но ни методики, ни разбивки по задачам, ни дат замеров там нет.

Так же без чисел описана «гонка» 30B-модели против Jev-27B: Granite-Switch-4.1-30B (замороженная база Granite плюс 4 специализированных aLoRA) прошёл пятишаговый RAG-процесс «значительно быстрее» соперника (замороженная база Qwen плюс один универсальный decision-LoRA) — единицы измерения и абсолютные времена не приводятся.

Отдельный пример — модель на 3B параметров, игравшая в Doom: по словам авторов, она делала 60–100 решений в секунду против «заявленных у Jev 10 решений в секунду». Число для соперника в блоге помечено сноской, которая ведёт на публикацию typesafe.ai, то есть цифра взята из источника конкурента, а не из замера IBM.

Что можно собрать самому

Обе версии выпущены «с батарейками в комплекте», но это не единственный путь: собрать свою модель из адаптеров Granite Libraries может любой. В блоге анонсирован Adapter SDK для обучения адаптеров в Mellea вместе с учебными материалами и поддержкой Granite Switch.

Карточка показывает команду пересборки этого checkpoint: базовая granite-4.1-30b, библиотеки granitelib-guardian-r1.0 и granitelib-core-r1.0, флаг --include-adapters guardian-core decision и --enable-audio для ASR-каскада. Там же перечислены артефакты поставки — model.safetensors, config.json типа GraniteSwitchConfig, adapter_index.json с соответствием адаптеров и управляющих токенов, chat_template.jinja с логикой активации — и требования: Python 3.9 и выше, PyTorch 2.11.0 и выше, Transformers от 5.16 до 5.17.0, vLLM от 0.26.0 до 0.28.0.

Запускать адаптеры в приложениях предлагается через Mellea: она оборачивает адаптеры семейства Granite Libraries в прямые операции вместо ручного prompt engineering. Оговорка там же: decision теперь входит в Granite Libraries и поставляется в granitelib-core-r1.0, но собственного интринсика в Mellea у него пока нет — поддержка запланирована.

Что остаётся открытым

В публикациях нет ни независимой оценки, ни цены, ни сроков появления в готовых сервисах; формулировка «один хостируемый endpoint» описывает возможность самой модели, а не названный сервис, где она уже доступна.

Блог обещает «в ближайшие недели» дополнительные подробности и данные о Granite Switch — то есть часть заявлений остаётся авансом, а не результатом, подтверждённым опубликованными числами.

Чего эта публикация не доказывает

Карточка сама ограничивает область применимости: модель наследует профиль безопасности базовой Granite 4.1, а встроенный guardian-core даёт лишь дополнительный слой и «не заменяет тестирование безопасности на уровне приложения». В этот checkpoint не входят factuality-detection, factuality-correction и policy-guardrails из библиотеки Guardian.

Развёртывающим предложено тестировать поведение адаптеров на своих сценариях до прода, применять фильтрацию контента под свою область, следить за выводами (особенно в критичных случаях) и относиться к вероятностям Decision-адаптера как к априорной оценке, а не как к заверенной классификации на доменах, где адаптер не обучался.

Из этого следует простая граница: 50,1 балла Decision Index — результат IBM на публичном подмножестве, а превосходство над Jev, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash сформулировано словами «в среднем» и цифрами не подкреплено ни в блоге, ни в карточках. Цифра «10 решений в секунду» у конкурента, в свою очередь, взята из публикации самого конкурента.