«Оценка не поспевала за релизами»: Hugging Face открыла Open TTS Leaderboard — объективные метрики вместо голосования

Восемь тысяч моделей и оценка, которая за ними не поспевала

30 сентября 2026 года Hugging Face опубликовала анонс Open TTS Leaderboard — лидерборда для открытых моделей синтеза речи. Его авторы — Eric Bezzam, Steven Zheng, Eustache Le Bihan и приглашённый участник mrfakename. Повод они формулируют цифрой: на Hugging Face Hub по состоянию на 30 сентября 2026 года доступно более 8 000 моделей text-to-speech, и оценка за этим потоком релизов не поспевала, оставаясь фрагментированной и нестандартизированной.

Эталоном в области авторы называют оценки человеческого предпочтения — MOS и MUSHRA — и напоминают, что на их основе уже сложились арены-лидерборды: TTS Arena v2, Artificial Analysis и Voice Arena. Все они показывают выходы двух моделей и просят выбрать лучший, а затем считают Elo, как правило по модели Брэдли — Терри. Сама новая таблица открыта как Space организации hf-audio и доступна в браузере.

Почему арены не масштабируются

Главная претензия к аренам — пропускная способность: они не могут расти с темпом выхода TTS-моделей. Отсюда и перекос в представительстве: на 30 сентября 2026 года из 92 моделей в Artificial Analysis открытыми весами обладают лишь 16, и похожий сдвиг наблюдается в Voice Arena.

Причины авторы называют практическими: подключить API-модель — почти что получить ключ, тогда как открытую модель арена должна сама хостить и обслуживать, а у коммерческих поставщиков больше мотива добиваться места в рейтинге. Вторая проблема — согласованность голосующих: ни одна арена не гарантирует, что одни и те же люди с одними и теми же критериями «лучше» будут оценивать модели во времени, и даже предпочтения одного человека меняются — здесь авторы цитируют Гераклита.

Три объективные метрики вместо голосов

Open TTS Leaderboard оценивает модели по взаимодополняющим аспектам. Разборчивость (intelligibility) считается как WER и CER между промптом и расшифровкой сгенерированного аудио, причём расшифровывает его Qwen3 ASR — открытая модель, занимающая верхние строки Open ASR Leaderboard.

Скорость измеряется двумя способами: обратный коэффициент реального времени (RTFx) для пакетного офлайн-инференса на H200 и время до первого аудио (TTFA) для потоковой задержки при размере батча 1 — на H200 и на CPU. Схожесть голоса (speaker similarity) считается как косинусная близость эмбеддингов WavLM между сгенерированным аудио и референсным клипом.

Экономия времени — главный аргумент: на объективных метриках оценка модели сокращается с пары недель, уходящих на сбор голосов, до пары часов. Оговорки авторов при этом остаются на месте: WER на базе ASR — лишь прокси разборчивости, схожесть голоса оценивает сохранение идентичности голоса, и ни одна из метрик не измеряет естественность, выразительность или предпочтение слушателя. Лидерборд, по их словам, не заменяет ранжирование по человеческому предпочтению и может даже подсказывать голосующим аренам, какие модели включать в оценку.

Кто впереди и как читать таблицу

По умолчанию модели ранжируются по макро-среднему WER на английских сплитах Seed TTS Eval и CV3 Eval (zero shot). В лидерах по английскому WER, усреднённому по этим двум сплитам, авторы называют hexgrad/Kokoro-82M, Supertone/supertonic-3 и fishaudio/s2-pro; диаграммы Парето показывают, какие модели лучше держат баланс между WER, пакетным инференсом (RTFx) и размером.

Английские результаты не переносятся на другие языки, поэтому языки в таблице переключаются. Seed TTS Eval содержит аудио только для английского и китайского, так что для остальных языков оценкой служит результат CV3 Eval (zero shot); для китайского, японского и корейского как языков с иероглифической письменностью выводится CER, а «средний WER» по языкам — макро-среднее. Сильными многоязычными моделями названы k2-fsa/OmniVoice, fishaudio/s2-pro и FunAudioLLM/Fun-CosyVoice3-0.5B-2512.

Переключатель «Voice cloning» добавляет столбец SIM и ещё две диаграммы Парето — на этот раз про компромисс между схожестью голоса, пакетным инференсом и размером. У части моделей средний WER при клонировании голоса улучшается, то есть когда подаётся референсное аудио: авторы приводят bosonai/higgs-tts-3-4b и openbmb/VoxCPM2.

Слушать, голосовать и мерить поток

«Цифры рассказывают только часть истории», — пишут авторы и открывают вкладку Listen, где можно сравнить сами выходы, стоящие за метриками: выбрать язык и датасет, включить клонирование голоса, отобрать конкретные модели или положиться на случайную выборку. Голосовать можно и за отдельные выходы, но авторы просят входить через аккаунт Hugging Face, чтобы отсекать спам и ботов, и обещают со временем показать собранные голоса в таблице.

Вкладка Streaming ранжирует модели по TTFA — времени между запросом и первым аудио, которое можно воспроизвести, что критично для голосовых агентов и других интерактивных приложений. Для потоковых моделей это время до первого чанка, для непотоковых — до целой реплики, потому что раньше воспроизведение начать нельзя. Условия одинаковы для всех: по одному аудио за раз (батч 1), те же 50 английских промптов из CV3-Eval, то же оборудование и голос по умолчанию; первые три прогона отбрасываются как прогрев, а из остальных берётся медиана TTFA. По умолчанию сравнение идёт на GPU H200, для небольшого, но растущего набора моделей доступны результаты на CPU, и авторы отдельно отмечают kyutai/pocket-tts как удачную модель для потока и на GPU, и на CPU.

Что дальше

Авторы называют лидерборд проектом, который должен складываться сообществом: они просят присылать пожелания по датасетам, моделям и метрикам. Пока фокус сознательно сужен до открытых моделей — чтобы вывести вперёд те из них, что остались в тени арен, — и до многоязычности, поскольку английские результаты не годятся как прокси для других языков.

Обещано и открытие кода: скрипты оценки собираются выложить по образцу репозитория Open ASR Leaderboard, чтобы предложения и правки шли через GitHub Issues и Pull Requests. Текущая таблица и вкладки Listen и Streaming живут в Space организации hf-audio.