«С 77,00% до 22,46%»: NVIDIA показала, как навыки для кодинг-агента доводят распознавание речи до домена авиадиспетчеров

Домен, на котором модель ломается

Модель распознавания речи может уверенно держать обычный разговор и при этом не разбирать, как пилот читает разрешение: мешают радиопомехи, непривычные позывные и сжатая авиационная фразеология, из-за которой меняется и то, что модель слышит, и то, что она должна ожидать.

Базой послужила Nemotron 3.5 ASR Streaming 0.6B — потоковая модель с RNN-T-декодером, распознающая речь по мере поступления аудио; для сравнения тестировали офлайн-модель Parakeet TDT 0.6B v3: обе превращают аудиопризнаки в токены, но используют разные схемы трансдьюсера — RNN-T моделирует эмиссию токенов и переходы в blank, а TDT предсказывает токены и их длительности, чтобы продвигаться по закодированному аудио.

Отдельным предупреждением авторы отмечают: менять предобученный токенизатор и обработку признаков нельзя, если это не является самим экспериментом, — в их опыте переход с исходной аудиоподготовки чекпойнта на поэлементную нормализацию без переобучения резко увеличил ошибки распознавания.

Два навыка: оркестратор и специалист

Навык — это переиспользуемый набор инструкций для кодинг-агента: оркестратор nemotron-asr-finetune ограничивает цель и маршрутизирует работу, а когда нужны обучение или офлайн-оценка, вызывает специалиста nemo-speech-asr-finetune.

На выходе рабочий процесс даёт три осязаемых результата: подготовленный эксперимент с явными целью, базовой линией, разбиением данных и критериями оценки; совместимую конфигурацию обучения, где зафиксированы архитектура, токенизатор, предобработка, смесь данных, скорость обучения, бюджет обучения и правило выбора чекпойнта; оценённый чекпойнт вместе с конфигурацией, предсказаниями и оценками по домену и общему английскому.

Специалист ставится отдельно от репозитория оркестратора: ссылка оркестратора на специалиста его не устанавливает, а обучение идёт в контейнере NeMo, который навык тонкой настройки использует по умолчанию и который содержит готовое окружение обучения со всеми зависимостями.

Сколько данных дал ATCO2

Сырьё ATCO2 — примерно 4 281,9 часа аудио; после фильтрации по языку, уверенности, длительности и пригодности аудио и текста осталось около 314,7 часа английских Silver-данных, то есть данных с машинными метками, в отличие от Gold, размеченных человеком.

Роли источников заданы жёстко: Silver пошёл на широкую адаптацию домена, Gold-тренировка — 393 доверенных сегмента примерно на 25 минут, Gold-разработка — 100 сегментов для выбора чекпойнта и языковой модели, Gold-тест — 1 908 сегментов на два часа для итоговой оценки, а общий английский воспроизводился на подмножестве LibriSpeech.

Два часа на оценку оставили мало доверенного аудио для обучения, и именно этот компромисс делает результат интересным: способен ли маленький точный набор исправлений улучшить модель, уже обученную на существенно большем и более шумном пуле.

Сначала широко, потом точно

Исследование отвечало на два вопроса: ограничивает ли воспроизведение английских данных забывание при тонкой настройке на Gold и помогает ли предварительная адаптация на Silver.

Тонкая настройка только на Gold (N1) снизила ATC WER до 26,09%, но английский WER вырос с 3,50% до 5,16%; добавление английского реплея (N2) удержало английский ближе к базовой линии — 3,72% при ATC WER 26,89%.

Затем старт сделали шире: N0 → N3 адаптируется на Silver и английском с выборкой 80/20, а N3 → N4 дообучается на Gold и английском в пропорции 85/15 при бюджете 2 000 шагов и выборе чекпойнта по dev-набору.

Лучший баланс показал N4: 22,46% ATC WER и 3,63% английского WER, то есть старт после Silver-адаптации улучшил обе оценки по сравнению с прямой тонкой настройкой на Gold с английским; Parakeet по такой же двухэтапной схеме дал 20,00% ATCO2 WER и 2,31% английского WER.

Отдельный эксперимент и языковая модель

На датасете Jacktol, где около 5,9 часа обучающего аудио, сохранённые чекпойнты вышли на 5,93% Jacktol test WER у Parakeet и 7,31% у Nemotron; эти оценки получены на другом тестовом наборе, чем результаты ATCO2.

Дополнительный выигрыш без переобучения акустики искали через n-граммную языковую модель: на записях, не пересекающихся с Jacktol, слияние с LM снизило WER Parakeet с 19,72% до 19,14%, а Nemotron — с 19,96% до 19,86%.

Гейн скромный, и авторы прямо называют причину: корпус Gold для языковой модели содержит всего 4 761 нормализованное слово.

Что забирать в свой эксперимент

Главный вывод исследования: широкая адаптация с последующим уточнением на доверенных метках работает лучше, чем простое добавление шумных данных на финальном этапе, а английский реплей ограничивает забывание.

Ни один из результатов не обещает такого же улучшения в другом домене, поэтому авторы советуют требовать от навыков подготовленный эксперимент, совместимую конфигурацию и оценённый чекпойнт, сохраняя сырые предсказания и разбирая значимые ошибки — позывные и числа — рядом с агрегированным WER.

Gold-уточнённые чекпойнты Nemotron N4 и Parakeet P4 NVIDIA планирует выложить на Hugging Face, а двухчасовое размеченное человеком подмножество ATCO2 для оценки — отдельно и позже.