Meta представила Muse Voice Transcribe для потокового распознавания речи

Распознавание начинается до конца фразы

Meta Superintelligence Labs представила Muse Voice Transcribe — свою первую real-time модель восприятия аудио. Она выполняет три связанные задачи в одном потоке: превращает речь в текст, отмечает смену говорящего и определяет момент, когда реплика закончилась. Модель рассчитана не только на короткую голосовую команду: Meta показывает многосторонние разговоры, переключение языков внутри одной фразы и запись продолжительностью более часа.

Главное отличие потокового режима от обычной расшифровки файла — решение нужно принимать, пока звук ещё поступает. Система не может всегда ждать конца предложения ради дополнительного контекста, но и слишком ранняя выдача слова увеличивает число ошибок. Muse Voice Transcribe управляет этим компромиссом внутри самой модели, а не отдельным каскадом из распознавателя, модуля разметки спикеров и внешнего детектора пауз.

Аудио превращается в последовательность мягких токенов

Muse Voice Transcribe относится к autoregressive multimodal-моделям семейства Muse Spark. Входной звук обрабатывается порциями по 80 миллисекунд, то есть с частотой 12,5 Гц; каждая порция преобразуется в один soft token. После очередного фрагмента модель либо выдаёт текстовый токен, либо специальный <|next_audio|>, тем самым откладывая решение до следующего куска аудио. Когда поток заканчивается, <|empty_audio|> сообщает, что новых данных больше не будет, и модель завершает оставшийся текст.

Такая схема даёт модели прямой контроль над задержкой для каждого слова. Более простой фрагмент можно распознать быстро, а для неоднозначного — дождаться дополнительного контекста. Meta называет механизм adaptive delay и обучает его с reinforcement learning: награда объединяет word error rate и задержку. По данным компании, результат находится на Pareto front соотношения скорости и точности при измерении времени до финальной транскрипции.

Diarization и endpointing встроены в тот же поток

Для разметки говорящих Meta добавила специальные токены. <|start_of_turn|> появляется при предполагаемой смене собеседника, а <|speaker_{A-Z}|> присваивает фрагмент конкретному голосу. Метка смены может возникнуть сразу, тогда как идентификатор говорящего определяется в конце аудиофрагмента. Если речь одного человека разделена на несколько сегментов, speaker tag для них остаётся одинаковым.

Endpointing построен похожим образом: <|speech_onset|> отмечает начало речи, а <|speech_endpoint|> — момент завершения пользовательской реплики. Обе задачи обучаются вместе со streaming ASR и получают дополнительные reward-компоненты. Для голосового интерфейса это существенно: он должен понимать не только содержание, но и кому принадлежат слова, а также когда уже можно отвечать, не перебивая человека посреди мысли.

Многоязычность включает переключение внутри предложения

Модель обучалась более чем на 70 языках, из которых 25 Meta называет тщательно проверенными и рекомендует для первоначального использования. Поддержка остальных заявлена, но уровень их проверки компания отделяет от validated-набора. Muse Voice Transcribe распознаёт code-switching как между предложениями, так и внутри одного предложения — типичный сценарий для двуязычных разговоров, где названия продуктов, имена или технические термины произносятся на другом языке.

Дополнительно доступны language, keyword и context biasing. Эти сигналы помогают повысить вероятность ожидаемых слов — например, имён контактов, названий мест или продукта. Это не отменяет риск ошибки: интерактивная демонстрация Meta прямо предупреждает, что AI-транскрипции могут быть неточными. Поэтому для медицинских, юридических и финансовых записей результат всё равно требует проверки, даже если нужная терминология заранее передана в контекст.

Длинный разговор не требует отдельной постобработки

Meta заявляет нативную поддержку аудио длительностью свыше часа и более 20 говорящих без обязательной постобработки. На странице приведена часовая беседа с 11 обозначенными участниками, а отдельная демонстрация показывает разговор восьми людей в одной комнате. Такой режим расширяет область применения от голосового ассистента до встреч, интервью и живых мероприятий, где одновременно важны текст, границы реплик и устойчивость идентификаторов спикеров.

Однако число участников само по себе не доказывает качество в любой акустике. Перекрывающаяся речь, шум, похожие голоса и удалённые микрофоны остаются сложными условиями. Meta сообщает первое место Muse Voice Transcribe в рейтинге Artificial Analysis для streaming speech-to-text и на публичных diarization benchmarks по состоянию на 1 сентября 2026 года, но на странице это заявление производителя, а не полный независимый аудит всех реальных сценариев.

Что меняется для разработчиков голосовых интерфейсов

Единая модель уменьшает число границ между компонентами голосового стека. В классическом конвейере ошибки voice activity detection, ASR и diarization накапливаются: неверно найденный конец фразы обрезает слово, а затем неверный сегмент получает неправильного говорящего. Здесь задачи разделяют аудиоконтекст и обучаются совместно, поэтому решение о тексте, очередности и завершении реплики может быть согласованным.

Практическая ценность будет зависеть от доступной latency, цены, поведения на целевых языках и устойчивости к конкретным микрофонам. Публикация Meta подробно раскрывает токенную механику и демонстрационные возможности, но не превращает заявленные benchmark-лидерство и language coverage в гарантию для каждого deployment. Разумный пилот должен измерять не только WER, но и ошибки speaker attribution, преждевременный endpointing и время до окончательного текста на собственных записях.