«От карточки на HF Hub до приложения с локальным инференсом»: Optimum Intel 2.2 и OpenVINO GenAI 2026.4 расширили список моделей и ускорили генерацию

18 сентября 2026 года на Hugging Face вышла обзорная статья об Optimum Intel 2.2, OpenVINO 2026.4, OpenVINO GenAI 2026.4 и NNCF 3.4; её авторы — Ella Charlaix, Anastasiia Pnevskaia, Altana Natyrova, Artur Paniukov и Roman Kazantsev. OpenVINO 2026.4.0 опубликован 16 сентября. optimum-intel v2.2.0, NNCF 3.4.0 и OpenVINO GenAI 2026.4.0.0 вышли 17 сентября.

В статье описано разделение ролей внутри конвейера: Optimum Intel экспортирует модель в формат OpenVINO, NNCF применяет квантизацию к уже сконвертированной модели, чтобы снизить требования к памяти и вычислениям, OpenVINO исполняет оптимизированную модель на CPU, GPU и NPU Intel, а OpenVINO GenAI даёт API для генерации текста, визуального понимания, генерации изображений и распознавания речи. По формулировке авторов, вместе это образует полный рабочий путь от карточки модели на HF Hub до приложения, которое запускает инференс локально.

Что нового в Optimum Intel 2.2

Optimum Intel 2.2 расширяет поддержку моделей сразу по нескольким задачам. В языковых и визуально-языковых моделях это Mistral 3 (текст и понимание изображений, включая ответы на вопросы об изображениях), DeepSeek-OCR-2 (извлечение текста и структуры документа из изображений, включая конвертацию в Markdown), Muse Glimmer (языковое и визуальное понимание для мультимодальных ассистентов и агентов) и Ouro, который повторно использует слои трансформера за несколько проходов и тем самым увеличивает вычислительную глубину без отдельного набора параметров. Gemma 4 и Gemma 4 Unified теперь принимают ещё и видео — в дополнение к тексту, изображениям и аудио.

В генерации изображений и видео заявлены Qwen-Image с акцентом на прорисовку текста внутри изображения, Z-Image на диффузионном трансформере, который обрабатывает текстовые и визуальные представления в одной последовательности, и LTX-2, генерирующая синхронные видео и аудио за один проход. В распознавании речи добавлена Fun-ASR. Релизные заметки optimum-intel v2.2.0 перечисляют те же семейства — Mistral 3, DeepSeek-OCR-2, Meta Muse Glimmer, Ouro, Fun-ASR, LTX-2, Qwen-Image, Z-Image — а также DFlash и головы Multi-Token Prediction.

Спекулятивное декодирование как главный ускоритель

Механика спекулятивного декодирования в статье объясняется прямо: маленькая дешёвая модель предлагает несколько токенов сразу, а полная модель проверяет их за один проход вместо пошаговой генерации. В Optimum Intel 2.2 добавлены черновые модели DFlash для Qwen3, Qwen3.5, Qwen3.6, Qwen3-Coder и Gemma 4 — включая экспорт скрытых состояний, необходимый, чтобы запускать их из визуально-языковых целей.

Второй вариант — головы Multi-Token Prediction (MTP), где дополнительные будущие токены предсказывает сама основная модель, без отдельной черновой модели. Такие головы начали экспортировать для Qwen3.5, Qwen3.6 (dense и MoE) и Qwen3.8-27B, чтобы OpenVINO GenAI мог использовать их для самоспекулятивной генерации.

OpenVINO GenAI 2026.4: пайплайны, Mamba 2 и наблюдаемость

OpenVINO GenAI 2026.4 переносит эти возможности в прикладные пайплайны. Появились новые пайплайны генерации изображений для Qwen-Image и Z-Image Turbo и распознавания речи для Fun-ASR-Nano-2512 в ASRPipeline, а VLMPipeline расширен на DeepSeek-OCR-2, Meta Muse Glimmer и Qwen3.8 и получил поддержку видео для семейства Gemma 4.

Отдельное изменение — Paged Attention для слоя Mamba 2: это открывает granite4.0-h-micro и granite4.0-h-tiny/small на CPU и GPU. В статье схема поясняется так: Paged Attention — механизм управления памятью, который позволяет серверу эффективно батчить множество запросов, и распространение его на рекуррентное состояние Mamba 2 даёт гибридным моделям ту же эффективность обслуживания, что и обычным трансформерам.

Спекулятивное декодирование DFlash расширено на Qwen3.6 и на VLMPipeline, спекулятивное декодирование через MTP добавлено для Qwen3.5, Qwen3.6 и Qwen3.8, а декодирование Eagle3 top-k включено для визуально-языковых моделей.

Наблюдаемость тоже изменилась: метрики производительности VLM теперь сообщают длительности кодирования изображения, кодирования аудио и текстовых эмбеддингов, а непрерывный батчинг отдаёт метрики VLM на каждый запрос через GenerationHandle. В Qwen3-Omni внимание по изображению и предобработка изображений могут выгружаться на GPU, а речевой API Talker получил конфигурационные аксессоры, property-перегрузку generate() и конструктор ModelsMap для развёртывания блобов и размещения подмоделей по устройствам. Отдельно отмечен Node.js: API GenAI для Node.js теперь включает ASRPipeline, то есть модели распознавания речи доступны и из JavaScript и TypeScript.

Набор версий, рекомендованный для старта: optimum-intel==2.2.0, openvino==2026.4, openvino-genai==2026.4, openvino-tokenizers==2026.4 и nncf==3.4.

NNCF 3.4 и OpenVINO 2026.4

NNCF 3.4.0 в первую очередь расширяет квантизацию MoE-моделей: поддержка GroupedMatMul добавлена в алгоритмы AWQ и Scale Estimation, что позволяет data-aware сжатие весов для моделей на grouped_mm. Среди исправлений — расширенный шаблон игнорирования RoPE, распознающий структуру matmul → transpose → cos/sin у таких моделей, как GPT-OSS, удаление узла __getitem__ после split-подобных операций в графе TorchFX, из-за которого ломается сбор статистик у моделей вроде YOLO11, и два исправления для ONNX. Требования обновлены до torch 2.13.0 и torchao 0.18.0, а transformers — до 5.5.0.

В релизных заметках OpenVINO 2026.4.0 перечислены расширение покрытия моделей на CPU, GPU и NPU, оптимизации Xe3 для Gemma 4 на длинном контексте в Core Ultra Series 3, распространение профилирования ITT на NPU — чтобы Intel VTune Profiler анализировал выполнение на CPU, GPU и NPU одним инструментом — и preview-поддержка bounded dynamic-shape на NPU для визуальных задач. Там же заявлены preview-режим выгрузки неиспользуемых моделей в OpenVINO Model Server и поддержка Muse Glimmer 30B и Qwen3.8 27B в Model Server.

Что это меняет на практике

Практический смысл релиза — в снижении стоимости локального запуска. Стек не обучает новую модель, он сокращает путь уже существующей модели до работающего приложения: экспорт, квантизация, исполнение на CPU, GPU и NPU и прикладные пайплайны выходят синхронными релизами с фиксированным набором совместимых версий.

Второе наблюдение — спекулятивное декодирование перестаёт быть свойством одной модели. Черновые DFlash, головы MTP и Eagle3 top-k закрывают разные способы ускорения и разные семейства, включая визуально-языковые пайплайны, поэтому выбор ускорителя становится частью экспорта модели, а не отдельным проектом.