«1 502 часа разговоров, где несколько человек говорят одновременно»: Basis выложила открытый датасет Conversations 1500 на 22 языках

Что в релизе

Разговорного аудио в релизе 1 502 часа, бесед — 1 907, они поставляются как 2 396 сегментов, уникальных говорящих — 2 645 из 33 стран, языков — 22. Аудио отдаётся в 48 кГц, 16 бит, моно, FLAC, по одной дорожке на говорящего; человеческих аннотаций — около 100 часов, а всего разметчики вынесли 113 096 суждений, в разметке участвовали 7 362 человека. Часы считаются один раз по таймлайну беседы, а не суммируются по дорожкам говорящих.

Официальная страница проекта приводит те же опорные числа: 1 502 часа аудио, 2 645 уникальных говорящих, 1 907 бесед. Там же опубликованы метрики всего экспортированного релиза: средняя длина сегмента 37,61 минуты (медиана 26,05), среднее число одновременных участников 3,0 по медиане, 13 744 204 слова при 525 263 уникальных словах.

Многопользовательский, многоязычный, с раздельными дорожками

В беседе одновременно участвуют от двух до четырёх человек, причём по ходу разговора они приходят и уходят; медианная беседа длится 33 минуты. Это и есть главное отличие от привычных диалоговых корпусов: модель получает не поочерёдные реплики, а реальное наложение голосов. По метрикам релиза средняя доля перекрытия речи (overlap) составляет 11,38% при медиане 10,55% и 95-м перцентиле 21,84%, а переходов между говорящими в среднем 11,25 в минуту.

Технически синхронность обеспечена тем, что каждое устройство записывает собственный микрофон. Все дорожки одного сегмента стартуют в один и тот же момент и имеют одинаковую длину, поэтому один таймстемп указывает на один и тот же момент у всех говорящих. Аудио выложено как записано, без денойза и нормализации громкости, а среды записи и микрофоны у участников разные.

Двадцать два языка и тридцать три страны

В релиз вошли английский, испанский, японский, корейский, грузинский, мегрельский, немецкий, французский, итальянский, иврит, русский, хинди, арабский, украинский, нидерландский, коса, зулу, португальский, китайский, турецкий, польский и казахский. Карточка датасета разбивает часы, беседы, говорящих и аннотированные часы по каждому языку. По странам крупнейшие группы говорящих — США (355), Мексика (220), Индия (202), Марокко (185), Казахстан (173), Египет (137), Бразилия (130), Грузия (106).

Часть языков, по утверждению Basis, ранее не встречалась в публичных данных разговорной речи такого объёма. При этом компания прямо предупреждает, что языки представлены неравномерно.

Разметка тонкостей разговора

Около 100 часов плотно размечены человеческими суждениями по тому, что модели даётся тяжелее всего: был ли бэкченнел сочувственным или раздражённым, была ли пауза неловкой или удерживающей ход, адресована ли реплика одному собеседнику или всем, было ли перекрытие кооперативным или конкурентным, поправлял ли говорящий себя, начинал заново или бросал мысль. Всего в релизе 23 751 человеко-размеченный момент в 148 беседах на 14 языках, примерно по пять голосов на момент.

Кандидатов в события ищут анализом волновой формы, офлайновыми аудиомоделями и LLM, которые судят по транскриптам, а категорию назначает человек. Человеческие суждения и машинные метки поставляются раздельно: для смеха и бэкченнелов включены только те машинные метки, которые люди подтвердили, а для остальных событий проверенным набором считается именно человеческая разметка. Размеченные примеры можно послушать до скачивания датасета.

Как собирали и что с приватностью

Все беседы записаны в собственных потребительских приложениях Basis, где участникам платят за вклад. Людей подбирали в пары и группы с незнакомцами, говорящими на том же языке, и они говорили о чём угодно и столько, сколько хотели. Контент, таким образом, максимально бытовой: в описании релиза участники «встречаются, делятся, спорят, смеются и троллят».

Беседы с очень плохими аудиодефектами отфильтрованы, но часть шумных реальных условий оставлена — ради устойчивости обучения и оценки. Участники дают согласие на запись и лицензирование своих вкладов для AI-исследований и коммерческой разработки; произнесённые личные детали заглушены там, где были опознаны, а вырезы и заглушенные фрагменты документированы. Идентификаторы говорящих псевдонимны и стабильны по всему релизу, демографические данные указаны со слов самих участников.

Как посмотреть метаданные, не выкачивая терабайты

Транскрипты, аннотации и метаданные говорящих можно изучить без скачивания аудио: в публикации приведён пример snapshot_download с allow_patterns по *.jsonl, *.json, *.md, manifests/*, LICENSE и CHECKSUMS.sha256, а для испанского аудио достаточно добавить «es/audio/*/*». Полный репозиторий занимает примерно 253 ГБ, а в README есть примеры и для Datasets, и для Lhotse.

Отдельная оговорка касается транскриптов: они сгенерированы автоматически и могут быть неточными, особенно на слабо поддержанных языках. Их выложили для поиска и фильтрации интересных моментов, и Basis не рекомендует использовать их как цель обучения без дополнительной проверки.

Зачем это открыли

Аргумент Basis простой: прогресс в real-time взаимодействии человека с AI зависит от данных, где люди слушают, отвечают и говорят друг с другом на разных языках. 1 500 часов разговорной речи открыты, чтобы исследователи и разработчики могли изучать нюансы человеческого разговора, смену реплик, эмоциональное понимание и юмор.

У Basis, по её собственным данным, больше миллиона контрибьюторов, присылающих аудио, видео, аннотации, оценки и транскрипции, и компания обещает продолжать выпускать данные о взаимодействии. Датасет бесплатен для коммерческого и исследовательского использования по лицензии самого датасета, а для собственных сборов данных компания предлагает писать на data@withbasis.co.