«Больше миллиарда загрузок»: Google объяснила, зачем стартапу открытая модель рядом с фронтирным API

Три места, где одна фронтирная модель перестаёт справляться

В первые годы больших языковых моделей архитектура по умолчанию была простой: каждый запрос отправлялся в самую большую доступную модель. Пока приложение собирало первых пользователей, это работало. Дальше начинаются продакшен-нагрузки, обслуживание миллионов людей и автономные многоагентные сценарии, и ставка на единственную фронтирную модель проседает сразу в трёх местах.

Первое — латентность. Когда всё идёт через облачный круг, выдержать субсекундный отклик, которого ждут интерактивные мобильные и настольные приложения, становится трудно.

Второе — инфраструктурные накладные расходы. Самостоятельный хостинг крупных открытых моделей с более чем 70 млрд параметров заставляет команду на ранней стадии работать как инфраструктурного провайдера и выдёргивать сильных инженеров на выделение кластеров и оркестрацию нескольких GPU.

Третье — размывание маржи. Маршрутизация интентов, извлечение JSON, проверка статусов — высокочастотные структурные задачи, которые уходят на универсальные фронтирные эндпоинты и тратят капитал, предназначенный для продуктовой дифференциации.

Из этого Google делает вывод, который называет составным стеком: фронтирные модели нужны для сложного синтеза, а компактные открытые модели с доступными весами — для того, что можно настроить, контролировать и запускать где угодно. Большинство продакшен-запросов, по мнению автора, не требует фронтирного универсала, а маршрутизация всего подряд в одну модель способна замедлить продукт.

Что предлагают взамен: пять размеров и четыре архитектуры

Gemma делает Google DeepMind на тех же базовых исследованиях и архитектурных решениях, что стоят за моделями Gemini. Общая родословная и общий инструментарий для разработчиков означают, что команда может прототипировать в Google AI Studio и строить гибридные схемы, где Gemini и Gemma работают вместе.

Лицензия — Apache 2.0, и это принципиальный момент для стартапа: веса можно дообучать, квантовать, распространять и класть в коммерческие продукты на своих серверах или на периферии, сохраняя полное владение собственными настроенными весами. Само семейство спроектировано под эффективность по параметрам и токенам.

Вместо одной архитектуры под все аппаратные цели Gemma 4 занимает пять размеров в четырёх специализированных архитектурах. Компактные E2B и E4B получили встроенные аудио и зрение и рассчитаны на мобильные и периферийные устройства. Есть encoder-free модель 12B Unified — мультимодальная. Есть разреженная 26B A4B Mixture-of-Experts, которая активирует всего 4 млрд параметров на токен и предназначена для высокопроизводительного обслуживания. И есть плотная 31B, помещающаяся на один GPU, для максимального качества рассуждений и дообучения.

Набор возможностей одинаков у всех размеров: настраиваемые режимы рассуждения, нативный вызов функций, контекст до 256K и встроенные черновые модели Multi-Token Prediction для спекулятивного декодирования. Документация Google подтверждает и контекст, и модальности: Gemma 4 работает с текстом, аудио и изображениями при окне до 256K токенов.

Как это выглядит на практике

Голосовой настольный ассистент Cue работает прямо на машине пользователя и автоматизирует повседневные задачи. В него встроили Gemma 4 E4B через Ollama на локальном железе, чтобы форматировать расшифровки в реальном времени. Изначально модель планировали как слабый офлайн-резерв, но замеры показали, что она достаточно быстра и точна, чтобы стать основным движком: это дало падение задержки на 44 % — с 876 до 488 миллисекунд.

Мобильная студия HubX собрала BetterSpeak — голосовой тренажёр английского, который имитирует живой разговор. Чтобы обойти задержки сотовой сети и не перекладывать на пользователей подписку, покрывающую облачный хостинг, разработчики упаковали 4-битную квантованную Gemma 4 E2B размером около 2,9 ГБ прямо на устройство. Результат — офлайновый тренажёр речь-в-речь со счетами за серверы в ноль долларов.

Научный проект K-Dense построил Faraday — исследовательского ИИ-ассистента, оптимизированного сквозь железо, софт и сенсорные наборы, на Gemma 4 вместе с собственными навыками научного агента. Faraday работает полностью в изолированном контуре, что делает его пригодным для закрытой работы с проприетарными данными в фарме и биотехе. Развёрнутая на NVIDIA DGX Spark связка позволяет дообучать Gemma 4 локально на собственных наборах данных.

Игровая компания Latitude провела Gemma через свои ИИ-продукты. Замена модели в AI Dungeon заметно улучшила удержание игроков, а новая ролевая платформа Voyage использует Gemma, чтобы держать высокий уровень интеллекта при стоимости, допускающей неограниченную игру с очень низкой задержкой.

Четыре задачи, где открытая модель выигрывает

Первая — периферия и локальное исполнение. Если речь о мобильных приложениях, настольных инструментах для разработчиков, робототехнике или сценариях «сначала офлайн», каждый облачный круг добавляет задержку, которую человек чувствует. Gemma запускается прямо на ноутбуках, включая Apple silicon, на смартфонах и локальных устройствах: пользователь получает мгновенный отклик, а чувствительные данные не покидают устройство. Большую часть локальных взаимодействий можно обслуживать без дополнительных расходов, оставив мост к фронтирным моделям для случаев вроде масштабного мультимодального рассуждения, синтеза длинного контекста или сложного планирования.

Вторая — высокопроизводительная сортировка и маршрутизация агентов. В многоагентных архитектурах удивительно много токенов уходит на простые операции: проверку статусов, классификацию намерений, распределение тикетов. Компактная модель на переднем крае освобождает фронтирное рассуждение для задач, где оно создаёт продуктовую ценность.

Третья — дообучение под собственные данные как источник рва. Полный доступ к весам и компактный объём памяти позволяют прогнать параметро-эффективное дообучение через LoRA или QLoRA на одном GPU за часы, а не за дни.

Четвёртая — готовые отраслевые стартовые линии. DeepMind выпускает доменные варианты Gemma, и один из примеров — MedGemma: 87,7 % на бенчмарке MedQA, что соответствует клинической точности фронтирных моделей примерно при одной десятой стоимости вывода. В слепом клиническом исследовании сертифицированные радиологи сочли, что 81 % отчётов по рентгену грудной клетки, сгенерированных облегчённой MedGemma 1.5 4B, достаточно точны для эквивалентного ведения пациента по сравнению с отчётами людей-экспертов. За пределами медицины биотех-стартапы используют C2S Scale для моделирования виртуальных клеточных ответов в онкологии, а DataGemma сверяется более чем с 240 млрд публичных точек данных, чтобы снижать числовые галлюцинации.

Развёртывание, инструменты и что делать на этой неделе

С точки зрения интеграции Google подчёркивает отсутствие привязки к одному стеку. Лицензия Apache 2.0 покрывает дообучение, квантование, распространение и коммерческое использование на своих серверах или на периферии. Инструменты заявлены как доступные с первого дня: vLLM, Ollama, llama.cpp, LM Studio, MLX, Unsloth, Hugging Face, Kaggle, Keras, PyTorch, JAX и LiteRT-LM.

Для облака есть три пути: прототип в Google AI Studio, масштабирование до нуля на бессерверных GPU в Cloud Run и выделенные эндпоинты из Model Garden на Gemini Enterprise Agent Platform, когда трафик подскакивает, а управлять GPU-кластерами не хочется. Безопасность обеспечивают предрелизные оценки, фильтрация данных и red teaming, а в паре с Gemma предлагается ShieldGemma 2 для корпоративных требований соответствия.

Практическое задание, которое автор адресует инженерным командам на неделю, состоит из трёх шагов. Сначала аудит вызовов моделей: по дашборду логирования нужно найти три высокочастотные детерминированные задачи, вроде классификации намерений, валидации JSON или суммаризации, которые сейчас идут на самые дорогие модели. Затем бенчмарк компактной Gemma локально или на одном эндпоинте с замером задержки и расчётом влияния на валовую маржу. И наконец перераспределение высвобожденного капитала и инженерных часов в ключевые дифференциаторы продукта.

Веса можно скачать напрямую или развернуть через Model Garden. Отдельно упоминается, что Google for Startups готов помогать вычислительными кредитами и архитектурными разборами.