«Втрое больше речи за те же 60 ТБ»: ESPnet открыла YODAS v3 — 1,1 млн часов аудио на 100+ языках

Что именно выпустили

27 сентября 2026 года команда проекта ESPnet — William Chen, Shinnosuke Takamichi, Sayaka Shiota, Satoru Fukayama, Samuele Cornell и Shinji Watanabe — опубликовала на Hugging Face блог-пост о выпуске YODAS v3. Датасет содержит 1,1 млн часов многоязычной речи: это втрое больше, чем примерно 370 тыс. часов у первой версии, и, по формулировке авторов, крупнейший открытый релиз в истории семейства YODAS.

Аудио опубликовано целиком в 48 кГц, и более 92% материала имеет частотное наполнение, эквивалентное частоте дискретизации 32 кГц и выше. Карточка датасета уточняет методику: эффективная частота оценивалась по фактическому спектру записи, а не по заголовку файла, и 67% данных дотягивают до 44 кГц.

Лицензия — CC BY 3.0, без дополнительных ограничений на коммерческое использование; загрузка и предпросмотр доступны в репозитории espnet/yodas3. Научная часть работы оформлена как статья для конференции Interspeech 2026, страницы 5367–5372, doi:10.21437/Interspeech.2026-386.

От чего отталкивались: разрыв в открытых речевых данных

В блог-посте авторы перечисляют, что было до YODAS: LibriLight давал около 60 000 часов неразмеченного английского, Multilingual LibriSpeech расширил рецепт до 8 языков, а People's Speech предложил примерно 30 000 часов естественного звука, но только на английском. Общий изъян этих корпусов — отсутствие многоязычности и масштаба, достаточного для обучения современных речевых моделей.

Под этот разрыв и создавался YODAS: около 370 000 часов реальной, коммерчески пригодной речи на 100+ языках. Первая версия оказалась востребованной — её скачали более 2,5 млн раз, а вместе с официальными производными датасетами, включая YODAS 2 и YODAS Granary, счётчик превысил 5,8 млн загрузок.

Для третьей версии авторы заново собирали отдельный набор видео, чтобы гарантировать отсутствие пересечений с v1 и v2. Это важно для честной оценки моделей: обучающая выборка не содержит материалов, на которых уже проверялись предыдущие версии датасета.

Что нового: каналы, качество и транскрипты

Больше 70% данных содержат как минимум два реально различающихся канала. Авторы подчёркивают, что считали запись многоканальной только тогда, когда каналы измеримо различались, поэтому сдублированное моно, сохранённое как стерео, помечено как моно. По их словам, это впервые позволяет обучать генерацию стерео и пространственного звука на открытых данных в большом масштабе.

Транскрипты поставляются «из коробки» с временными метками на уровне слов и высказываний, а для более чем половины многоязычного материала добавлены английские переводы. Карточка датасета даёт более точные цифры: транскрипты есть примерно у 75% данных, переводы — примерно у 60% неанглоязычной части, метки на уровне предложений есть везде, а на уровне слов — у 95% транскриптов.

По объёму хранения YODAS v3 укладывается в те же 60 ТБ в формате OPUS, что и YODAS v2, но при втрое большем количестве данных, удвоенной частоте дискретизации и поддержке каналов. Для команд, которые считают деньги на хранение и передачу данных, это означает, что переход на v3 не требует нового бюджета на диски.

Языки: три разных числа из трёх первоисточников

Цифры о языковом покрытии в первоисточниках расходятся, и это стоит держать в голове при планировании экспериментов. Блог-пост говорит о 100+ языках, из которых 34 имеют более 1 000 часов — порог, с которого, по мнению авторов, язык может поддержать сильную отдельную модель распознавания речи. Карточка датасета подтверждает: аудио представлено более чем на 100 языках.

В аннотации статьи для Interspeech 2026 названо 147 языков, причём 22 языка имеют более 10 000 часов, а 73 — более 5 000 часов.

Расхождение объясняется устройством публикации: карточка описывает 103 каталога — 102 языковых кода плюс каталог unk для аудио без дорожки субтитров — и прямо предупреждает, что языковые идентификаторы проставлены на уровне файла и могут быть неточными для отдельных предложений. Авторы получали ID двумя способами: из транскрипта, если он есть, и из локали загрузки; в карточке указано, что ID из транскрипта, как правило, точнее.

Зачем это нужно и что осталось за рамками

По замыслу авторов, 1,1 млн часов реальной речи достаточно, чтобы обучить модель уровня Whisper — с его 680 тыс. часов — с нуля. Среди других сценариев, которые перечисляют сами авторы: синтез речи и генерация голоса на 48 кГц, стерео- и пространственное аудио, перевод речи, выравнивание и субтитрование, аудиокодеки и подавление шума.

Структурно данные разложены по языковым каталогам: примерно 6 685 шардов в формате WebDataset, tar-файлы примерно по 8 ГБ, а рядом — parquet с метаданными, по одной строке на элемент соответствующего шарда, что позволяет сопоставлять аудио и разметку по номеру шарда. В метаданных есть ID сегмента, номер шарда, транскрипт, перевод, языковой ID, длительность, эффективная полоса пропускания и эффективное число каналов.

Ограничение у датасета то же, что у всей линии YODAS: это слаборазмеченный корпус, собранный веб-краулингом. Языковые метки не гарантируют точность на уровне отдельного предложения, а все оценки состава и качества — измерения самих авторов; в статье они сообщают, что обучили на данных базовые модели распознавания речи и нейросетевые кодеки, чтобы показать работоспособность корпуса. Независимого внешнего подтверждения этих замеров пока нет.