Google выпустила Gemini 3.5 Transcribe для realtime speech-to-text

Два API для живой речи и записей

Google представила Gemini 3.5 Transcribe — специализированную speech-to-text модель для voice agents, realtime captions и обработки звонков. Она должна превращать сырое аудио не только в последовательность слов, но и в очищенный, форматированный текст с учётом пауз, самоисправлений, фонового шума и профессиональной лексики.

Модель доступна в двух конфигурациях. `gemini-3.5-transcribe-live` работает через Live API и поддерживает непрерывный bidirectional streaming с sub-second latency. `gemini-3.5-transcribe` принимает записанное аудио через Interactions API, добавляет speaker attribution и word-level timestamps. Разделение позволяет не платить сложностью realtime-контура там, где результат можно обработать после записи.

Для разработчиков обе конфигурации вышли в public preview через Gemini API и Google AI Studio. Enterprise-пользователи могут тестировать streaming-вариант в Gemini Enterprise Agent Platform; интеграция с Gemini Enterprise for Customer Experience заявлена как будущая.

Модель редактирует речь во время распознавания

Smart transcription распознаёт естественные исправления вроде «встретимся во вторник — нет, в среду», убирает слова-паразиты и автоматически форматирует итог. Custom vocabulary позволяет передать отраслевые термины и нестандартные написания, а модель должна учитывать намерение говорящего, а не механически выбирать наиболее частую фонетическую расшифровку.

Google заявляет автоматическое определение более 85 языков с региональными акцентами и диалектами. Для заранее записанного аудио поддерживается разделение до трёх говорящих; работа с большим числом участников пока обозначена как experimental. Эти ограничения важны для call analytics: ошибка в diarization может приписать обещание или персональные данные не тому человеку.

В некоторых продуктах transcription дополняется контекстом интерфейса. В Google Antigravity модель с разрешения пользователя учитывает экран и историю чата, чтобы точнее распознавать названия файлов и документы. В Gemini app на macOS голосовая команда может вызвать другие Gemini-модели для анализа файлов или генерации изображения. Это уже не чистый ASR, а входной слой для выполнения действий, которому нужны явные permissions и подтверждения.

Google заявляет WER 2,6% для записанного аудио

По измерениям Artificial Analysis, которые приводит Google, средний Word Error Rate составляет 4,0% в streaming и 2,6% в non-streaming сценариях. Компания отдельно отмечает точность alphanumeric entities — например, postal codes и order IDs — где одна неверная буква или цифра меняет смысл результата.

На многоязычном benchmark FLEURS Google сообщает WER 5,50% для streaming и 5,04% для batch-обработки. В сравнении с Chirp 3 время до финальной расшифровки, по заявлению компании, улучшилось на 70%. Показатели показывают направление прогресса, но не заменяют тестирование на реальном домене: телефония, медицинская речь, акценты и шум дают иной профиль ошибок, чем усреднённый benchmark.

Для производственной оценки одной WER недостаточно. Команде стоит отдельно измерять ошибки в именах, суммах, адресах и идентификаторах; задержку первого и финального фрагмента; стабильность speaker attribution; частоту неверного удаления слов при cleanup. Ошибка в служебном слове менее критична, чем искажённый номер заказа, хотя в общей метрике они могут весить одинаково.

Голосовой слой распространяется по экосистеме Google

Технология уже используется в Rambler на Android и Gemini app на macOS. В Gboard Rambler превращает свободную речь в оформленный текст и позволяет голосом исправлять spelling и стиль. В Google AI Studio разработчик может диктовать изменения приложения в Build mode, а будущая интеграция Chrome должна добавить talk-to-type в веб-поля.

Для realtime-интеграций Google перечисляет Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel и Vision Agents. Эти платформы берут на себя media streaming, transport и часть orchestration, оставляя приложению работу с пользовательским сценарием. Широкий список партнёров снижает порог внедрения, но добавляет ещё один вопрос: через какие системы проходит аудио и где сохраняется transcript.

Для массового продукта полезно разнести три слоя: захват аудио, распознавание и действие по результату. Пользователь должен понимать, когда микрофон активен, какой контекст передан модели и приведёт ли произнесённая фраза только к черновику или к реальной операции. Высокая точность transcription не устраняет риск неверно интерпретированной команды.

Что проверить перед production-внедрением

Gemini 3.5 Transcribe делает speech-to-text частью общего Gemini stack: одна модель преобразует речь, другие получают function calls и выполняют дальнейшую работу. Это удобно для voice agents, но качество всей системы определяется самым слабым переходом — распознанной сущностью, выбранной функцией, аргументами или правом на действие.

Безопасный пилот должен использовать записи из целевой акустической среды и заранее размеченный набор критических сущностей. Для Live API нужно измерять tail latency и поведение при обрыве связи; для Interactions API — качество diarization и timestamps на длинных разговорах. Отдельно следует проверять data retention, регион обработки, журналирование и возможность удалить исходное аудио.

Главное практическое преимущество релиза — единый выбор между быстрым streaming и более богатой обработкой записи без смены модельного семейства. Но public preview остаётся стадией проверки. До фиксации versioning, стоимости и поведения на собственных данных разработчикам разумно оставлять ручное подтверждение для платежей, медицинских записей, юридических формулировок и любых необратимых голосовых команд.