«525,17 часа речи с заданной эмоцией в 108 локалях»: Basis выпустила открытый датасет Global Emotions

Что в релизе

Опорные числа релиза — 525,17 часа аудио, 137 696 записей, 54 575 серий, 10 420 уникальных дикторов и 108 локалей. Карточка датасета приводит тот же набор: 525,17 часа, 137 696 записей, 54 575 серий, 10 420 дикторов, 108 локалей. Официальная страница проекта называет три ключевых показателя отдельно: 525,17 часа аудио, 10 420 уникальных дикторов и 108 локалей.

Формат аудио — 48 кГц, 16 бит, моно, WAV. Покрытие заявлено как 108 локалей, 83 языка и 90 стран.

Серии: одни и те же слова на разной интенсивности

Каждая запись — носитель языка, который читает строку в описанной ситуации с заданной эмоцией или манерой подачи. В Basis такую инструкцию называют steer: happy, frustrated, apologetic, sarcastic, whispering, singing и другие. Записи группируются в серии: один диктор читает одну и ту же строку несколько раз, чтобы снять влияние личности говорящего и лексического содержания. В эмоциональной серии три прочтения — neutral, medium и full, в серии подачи — два, neutral и full. В релиз включены все прочтения каждой выбранной серии, поле series_id их группирует, а intensity задаёт порядок.

Отдельно в датасете есть строки со сценарными невербальными подсказками — вздох, усмешка, вдох, смех: таких записей 12 141, и они покрывают 13 видов вокализации. Это не украшение релиза, а именно то, что предлагается сравнивать: как один и тот же голос переходит от лёгкого раздражения к полному.

Языки и регионы

В релизе 83 языка, включая амхарский, ассамский, себуано, грузинский, яванский, киньяруанда, малагасийский, оромо, волоф и коса, наряду с английским, испанским, арабским и японским. Локали сохраняют региональные различия внутри одного языка: бразильский и европейский португальский, кенийский и танзанийский суахили, несколько вариантов арабского, английского и испанского.

Карточка датасета разбивает объём по локалям. Крупнейшие — pt-BR (9,97 часа, 2 382 записи, 946 серий, 80 дикторов), ja-JP (8,84 часа), pl-PL (8,49 часа), en-US (8,46 часа, 995 серий и 209 дикторов). Грузинская локаль ka-GE даёт 6,93 часа, 1 899 записей, 751 серию и 159 дикторов.

Как собирали

Носители языка записывались в собственных потребительских приложениях Basis и получали за вклад оплату. Каждому диктору выдавали строку, ситуацию и запрошенный steer, после чего он записывал прочтения, из которых состоит серия. Всё аудио оценивали носители языка из соответствующей локали.

Серии отбирали смесью попарных оценок и внутренних моделей Basis — на следование steer и на качество микрофона, — балансируя по эмоциям и полу. Отбор ограничили 35 минутами на диктора и десятью сериями на строку. Контрибьюторы дали согласие на запись и лицензирование для обучения ИИ; в релизе используются стабильные идентификаторы дикторов, посчитанные с солью, а имена, идентификаторы аккаунтов и контактные данные исключены; демографические данные самоотчётные.

Что датасет даёт и чего в нём нет

Аудио отдаётся как записано: без постобработки, шумоподавления, усиления, нормализации громкости и ресемплинга. Человек-проверенных транскрипций в открытом релизе нет — их можно получить отдельно, за 22,7 доллара за час аудио.

В самой публикации помечены ещё две детали работы с полями. steer описывает серию и присутствует также у нейтрального прочтения, поэтому читать его нужно вместе с intensity. А given_line — это сценарий, который диктору дали прочитать, а не проверенный транскрипт: дикторы могут отходить от сценария.

Как подключить

Датасет лежит на Hugging Face как basis-ai/basis-global-emotions и требует получения доступа. После него нужны пакет datasets[audio] и FFmpeg, а локаль загружается вызовом load_dataset с идентификатором датасета, кодом локали, например ja-JP, и split=train. Строки стоит группировать по series_id и упорядочивать intensity как neutral, medium, full, чтобы восстановить парные прочтения; для обучения и оценки, не смешивающих дикторов, используется speaker_id. Доступ к самому репозиторию датасета закрыт без авторизации, поэтому карточку и файл лицензии нужно читать после выдачи доступа.

Лицензия

Датасет опубликован под Basis Data License — «Free for Commercial Use, No Resale/Redistribution», версия 1.0. Издатель лицензии — Luvu, Inc., корпорация из штата Делавэр, работающая под брендом Basis. Использование бесплатно для коммерческих и исследовательских задач, перепродажа и повторное распространение запрещены; нестандартные лицензии доступны по запросу. На странице проекта то же условие сформулировано коротко: free for commercial and research use.

Что это значит

Global Emotions — вторая публикация Basis в этом ряду: релиз дополняет Basis Conversations 1500, где собраны спонтанные многосторонние разговоры, тогда как здесь — направленные и парные исполнения. Это два разных способа изучать спектр человеческой речи: в одном случае важен спонтанный обмен репликами, в другом — управляемое изменение подачи при неизменных словах и голосе.

Практическая цель описана самим Basis прямо: голосовой модели нужно держать не только то, что сказано, но и как. Датасет даёт материал для обучения контролю над подачей и для оценки того, сохраняется ли этот контроль при смене диктора или локали. При этом открытый релиз сознательно неполон: транскриптов в нём нет, а плата за них — единственная платная часть, о которой публикация сообщает открыто.