«Один вектор на текст, код, видео и аудио»: Google DeepMind выпустила EmbeddingGemma 2 на 740 млн параметров

Что изменилось со времён первой версии

Год назад EmbeddingGemma решала одну задачу: дать качественные текстовые эмбеддинги для потребительского железа, чтобы приложения могли упорядочивать, искать и связывать информацию прямо на устройстве. Сообщество разработчиков скачало её более 20 млн раз и построило на ней локальный поиск и privacy-first RAG-конвейеры.

Новая версия выходит за пределы текста: код, изображения, видео и аудио попадают в одно общее пространство эмбеддингов. Компания приводит и бытовые примеры: найти конкретный видеоклип по голосовой заметке или искать по многочасовым аудиозаписям текстовым запросом — всё это делает одна нативно мультимодальная модель. По заявлению Google, EmbeddingGemma 2 построена на той же технологии, что и модели Gemini Embedding.

Модульная архитектура вместо одной большой модели

Модель собрана из блоков: текстовое ядро на 270 млн параметров (130 млн — трансформер и 140 млн — эмбеддер) плюс отдельные энкодеры на 170 млн параметров для зрения и на 300 млн для аудио. Суммарный размер — 740 млн параметров. Такой набор объясняет, почему модель называют компактной: 270 млн параметров — это лишь ядро, а не весь вес.

Загружать можно только нужное: 270 млн для текста и кода, 440 млн для текста вместе со зрением, 570 млн для текста с аудио и 740 млн для полного мультимодального режима. Все четыре конфигурации читаются из одной контрольной точки и проецируют результат в одно и то же 768-мерное пространство, поэтому запрос, посчитанный текстовым набором, можно напрямую сопоставлять с документами, посчитанными полной моделью. Если начать с текстового индекса и позже добавить изображения или аудио, достаточно перезагрузить модель с дополнительным энкодером — уже посчитанные эмбеддинги пересчитывать не нужно.

Ещё одна деталь для локальных сборок: EmbeddingGemma 2 делит с Gemma 4 текстовый токенизатор и архитектуру аудиоэнкодера, поэтому при совместном запуске обеих моделей в одном RAG-конвейере суммарный расход памяти ниже.

Сколько это занимает памяти

Вектор можно усекать: обучение методом Matryoshka Representation Learning (MRL) позволяет резать выходные 768 измерений до 512, 256 или 128, что даёт до 6-кратной экономии на хранении и памяти локальных векторных баз. В developer guide приведён наглядный счёт: миллион 768-мерных векторов во bfloat16 занимает примерно 1.5 ГБ, те же векторы в 128 измерениях — около 250 МБ.

На Google Pixel 11 Pro с квантизацией модель требует всего около 191 МБ активной оперативной памяти для текстовых весов и около 567 МБ для полной мультимодальной версии. Окно контекста — 8K токенов, вчетверо больше, чем у первой версии, и его хватает примерно на 5.5 минут аудио, 29 изображений, 58 видео-кадров или их чередование прямо на локальном железе. Все модальности делят общее окно в 8,192 токена: видео по умолчанию берётся по одному кадру в секунду, звук ожидается в формате 16 кГц моно.

У усечения есть пределы. На 256 измерениях сохраняется почти вся точность текста и кода и около 95% качества для изображений, видео и речи. На 128 измерениях текст и код держат примерно 90%, а мультимодальные задачи проседают примерно до 75%, поэтому 128 измерений советуют применять для больших текстовых индексов и первичного отбора и обязательно проверять на своих данных перед использованием в мультимодальных запросах.

Ставка на код и мультимодальность

Главное измеримое улучшение — код. По бенчмарку MTEB Code результат вырос с 68.76 до 78.68 балла, то есть на 9.92 пункта; в developer guide тот же сдвиг описан как рост на 14% относительно первой EmbeddingGemma. Авторы прямо связывают это с локальной индексацией кодовой базы, семантическим поиском по коду и извлечением для кодинг-агентов.

В целом модель заявлена как лучшая в своём размере: среди мультимодальных эмбеддеров меньше 1 млрд параметров она лидирует по MTEB Code и MAEB, а в тексте, зрении и аудио местами обгоняет специализированные модели более чем вдвое крупнее. Точность на многоязычном тексте при этом остаётся на уровне первой EmbeddingGemma.

Как запустить

Веса выложены на Hugging Face и Kaggle; появление модели в Model Garden платформы Gemini Enterprise Agent Platform заявлено как предстоящее, а оптимизированные для устройств варианты уже доступны в LiteRT Community на Hugging Face. Готовые рецепты даны для sentence-transformers (от версии 6.1.0), в браузере — через transformers.js или WebGPU, для сервинга — через transformers, MLX, vLLM, llama.cpp, SGLang, Ollama и LM Studio, для хранения векторов — с Qdrant, а для дообучения — по материалам Unsloth.

Для мобильных приложений Google предлагает Google AI Edge MediaPipe с готовыми задачами эмбеддинга, поиска и принятия решений либо LiteRT для своей интеграции в модель. Посмотреть модель в деле можно в Google AI Edge Gallery: это демонстрации Instant Media Search (поиск по медиабиблиотеке текстом или картинкой) и Video Moments Finder (поиск моментов в видео по текстовому или аудио-запросу), а также приложение Foresight.

Зачем это нужно

Смысл локальных эмбеддингов — в приватности, меньшей задержке и работе полностью офлайн: векторы считаются на устройстве, без обращения к внешнему сервису. Из этого вырастают кросс-модальный поиск и извлечение, которые работают без сети, а в паре с генеративной моделью вроде Gemma 4 — локальные RAG-конвейеры, понимающие сложные мультимодальные данные.

В developer guide показан рабочий сценарий: кодовая база Hugging Face transformers размечается текстовым набором на 270 млн параметров, после чего агент на Gemma 4 26B A4B ищет по ней, сопоставляя запрос с эмбеддингами кода. Именно сочетание модульных энкодеров и усечения размерности по MRL позволяет подгонять модель под конкретный бюджет памяти и задержки, а не тащить все модальности сразу.