«Перевести каждое слово и всё равно промахнуться»: TII выпустила Falcon-Emirati-7B — модель, говорящую на эмиратском диалекте

Арабский — это не один язык

Арабский на деле — не один язык, а целая семья языков под одним именем. Modern Standard Arabic (MSA) — это то, что читают в новостях и учебниках, но на нём почти никто не разговаривает в быту. В ОАЭ повседневный разговор, юмор, переговоры и рассказы идут на эмиратском арабском — диалекте Залива со своим словарём, своим ритмом и плотно обёрнутой вокруг него культурой.

Эмиратская поэзия, особенно набати, а также пословицы и короткие истории несут смысл, который не выживает при буквальном чтении слово в слово. Модель, знающая только MSA, может перевести каждое слово эмиратской фразы и всё равно промахнуться мимо того, что она на самом деле значит. Falcon-Emirati-7B построена именно под этот зазор.

Почему диалектная адаптация — отдельная сложная задача

Переделать общую арабскую модель в специалиста по эмиратскому диалекту выглядит как работа поменьше, чем обучение самой базовой модели. Это не так. Эмиратский — в основном разговорный диалект: в письменном виде он встречается куда реже, чем MSA и даже другие диалекты Залива и Леванта, поэтому сырого текста для обучения попросту меньше.

Смысл здесь часто нелитерален: идиомы, пословицы и поэтические отсылки опираются на общий культурный контекст, а не на поверхностную лексику. И третье — нет устоявшегося рецепта: ни задокументированной методики, сколько диалектных данных достаточно, ни однозначного ответа на вопрос, как смешивать их с MSA и общей арабской подложкой и на какой стадии обучения (continued pre-training, SFT или preference optimization) диалект прививается лучше всего.

База: Falcon-H1-Arabic и вариант на 7B

Модель не строилась с нуля: Falcon-Emirati-7B — надстройка над Falcon-H1-Arabic, арабским семейством, которое ранее в этом году поставило новые ориентиры для языка. Семейство Falcon-H1-Arabic покрывает три масштаба — 3B, 7B и 34B параметров — с контекстными окнами до 128K и 256K токенов, и оно уже обучено на широкой смеси MSA и диалектного арабского (диалекты Залива, Леванта, Египта и Магриба) вместе с английскими и многоязычными данными.

Выбор пал на вариант 7B как на «золотую середину»: он достаточно велик, чтобы удержать нюанс, которого требует диалектная адаптация, но достаточно компактен, чтобы и обучение, и инференс оставались практичными. Модель 34B, по оценке авторов, вероятно, дала бы чуть больше качества, но ценой обучения и обслуживания, не оправданной для диалектно-специализированной чат-модели, а 3B не оставляет запаса под нужную глубину культурного и языкового понимания.

Три источника данных

Поверх предобучения Falcon-H1-Arabic команда построила отдельный конвейер эмиратских данных из трёх взаимодополняющих источников. Первый — аутентичные веб-данные на эмиратском диалекте: контент с сайтов и форумов ОАЭ, написанный на диалекте изначально, а не переведённый и не транслитерированный из MSA. Именно здесь авторы берут «эталон земли» — как эмиратцы на самом деле пишут и говорят онлайн, бытовые формулировки, разговорные выражения и естественное переключение между эмиратским и MSA.

Второй источник — материалы на MSA об эмиратской культуре и идентичности: статьи и справки о местных обычаях, ценностях, истории и социальных нормах, включая то, как эмиратцев воспринимают и стереотипизируют. Это не учит модель писать на диалекте, но объясняет, о чём она вообще говорит, когда всплывают темы наследия, этикета и контекста, который носитель просто знает.

Третий — синтетические данные. Аутентичного диалектного текста не хватало, чтобы покрыть весь диапазон тем повседневного чата, поэтому команда сгенерировала большой объём синтетического эмиратского материала. Генератор при этом не импровизировал «в стиле около-заливного арабского»: его ограничили строгими правилами, глоссариями и словарями, собранными специально под эмиратскую лексику и грамматику.

Как искали рецепт обучения

Поскольку стандартного рецепта адаптации MSA под диалект нет, саму стратегию обучения сделали предметом эксперимента. Команда прогнала серию абляций: сколько диалектных данных добавлять и на какой стадии, как балансировать аутентичные данные против синтетических, чтобы модель не переобучилась на синтетические шаблоны, и сколько контекста об эмиратской культуре нужно, чтобы модель оставалась культурно заземлённой, а не просто беглой по поверхности.

На каждом шаге опирались на смесь автоматических оценок и ревью носителей языка: одних метрик не хватает, чтобы достоверно уловить естественность, тон и культурное соответствие.

Оценка: носители и бенчмарк Alyah

Прогресс отслеживали двумя дополняющими способами. Эмиратские носители языка просматривали ответы модели напрямую, оценивая не только правильность, но и то, звучит ли ответ верно: естественность, тон, культурную уместность — то, что не покажет ни один счёт бенчмарка, но сразу слышит носитель.

Для количественного трекинга использовали Alyah (الياه, «Полярная звезда») — бенчмарк, выпущенный TII вместе с сообществом специально для оценки эмиратской диалектной способности арабских LLM. Это полностью нативный набор заданий с выбором ответа из 1173 примеров, собранных вручную с носителями: категории охватывают всё — от повседневных приветствий и этикета до образной речи, знания наследия и эмиратской поэзии, то есть именно те области, где диалект и культура важны больше всего.

Результаты

На Alyah модель набирает 84,83% — выше всех других арабских и многоязычных моделей из сравнения, включая несколько моделей в разы крупнее. Авторы объясняют это так: размер сам по себе не покупает диалектную компетентность. Часть самых крупных многоязычных моделей набирает заметно ниже меньших и более «диалектно-осознанных», то есть эмиратское владение приходится тренировать намеренно, а не получать побочным эффектом масштаба.

Задания с выбором ответа показывают, умеет ли модель узнать правильный вариант из четырёх, но не показывают, воспроизведёт ли она эмиратский сама, когда с ней просто разговаривают. Поэтому прошёл второй замер: открытая генерация по тем же 1173 вопросам Alyah с оценкой LLM-судьи — Gemini 3.7 Flash сравнивал пять моделей: Falcon-Emirati-7B, ALLaM-7B-Instruct-preview, gemma-3-27b-it, Jais-2-8B-Chat и Fanar-2-27B-Instruct.

Судья оценивал ответы по двум независимым осям: правильность содержания и то, вернулся ли ответ на эмиратском диалекте, а не на MSA. Falcon-Emirati-7B лидирует по правильности, но главный разрыв — во второй оси: по верности диалекту она набирает 0,52 (частичный зачёт) против 0,05 у ALLaM, 0,03 у gemma-3-27b-it, 0,02 у Jais-2-8B-Chat и практически 0,00 у Fanar-2-27B-Instruct. Практический смысл: остальные модели часто знают правильный ответ, но по умолчанию произносят его на Modern Standard Arabic, даже если вопрос задан на эмиратском. Falcon-Emirati-7B — единственная из пяти, кто надёжно отвечает в том диалекте, на котором его спросили.

Отдельно выделяется Fanar-2-27B-Instruct: она отказывается отвечать в 26,2% случаев против менее 5% у каждой другой модели в сравнении, а её оценка правильности — 0,27, самая низкая из пяти. По мнению авторов, это указывает на модель, которая и меньше хочет, и меньше способна работать с эмиратским содержанием, а не на ту, что просто отвечает в неверном регистре.

Попарные сравнения по категориям

Третьим срезом стали попарные сравнения: судья (Gemini 3.7 Flash), не зная, чей ответ перед ним, выбирал лучший из двух. Falcon-Emirati-7B выигрывает большинство категорий у Jais-2-8B-Chat, ALLaM-7B-Instruct-preview и Fanar-2-27B-Instruct, и с самым большим отрывом — там, где сильнее всего нужны диалект и культура.

Против Jais-2-8B-Chat разрыв максимален в категориях Poetry & Creative Expression (0,69 против 0,31) и Language & Dialect (0,62 против 0,38). Против ALLaM-7B-Instruct-preview те же две категории снова дают самые широкие отрывы: 0,66 против 0,34 и 0,58 против 0,42. Против Fanar-2-27B-Instruct отрывы самые большие из трёх пар, и модель выигрывает вообще все категории, доходя до 0,88 против 0,12 в Poetry & Creative Expression и 0,80 против 0,20 в Religious & Social Sensitivity.

Единственная категория, где конкуренты держатся, — Greetings & Daily Expressions: Falcon-Emirati-7B немного уступает Jais-2-8B-Chat (0,46 против 0,54) и делит с ALLaM-7B-Instruct-preview ровно 0,50, хотя уверенно выигрывает у Fanar-2-27B-Instruct (0,70 против 0,30). Это согласуется с картиной по верности диалекту: приветствия — категория, где эмиратский и MSA пересекаются сильнее всего, так что именно там универсальной арабской модели проще всего случайно звучать по-местному.

Понимание эмиратской культуры

Язык — это ещё и понимание культуры за разговором. Модель оценили на части ОАЭ в ArabCulture-Dialogue — бенчмарке культурного понимания в арабском, где в задании с выбором ответа нужно выбрать наиболее культурно уместную реплику из трёх вариантов.

Все четыре модели протестировали на одних и тех же 283 сценариях ОАЭ — на эмиратском арабском и на MSA, с разным объёмом информации о местоположении. Falcon-Emirati-7B набрала 85,57% — лучший результат среди четырёх моделей, впереди ALLaM-7B (83,39%), Jais-2-8B (73,79%) и Fanar-2-27B (71,50%).

Как попробовать и чего ждать

Модель доступна в чат-платформе Falcon — попробовать её можно по адресу chat.falconllm.tii.ae. Авторы отдельно оговаривают ограничения: как любая языковая модель, Falcon-Emirati-7B может отражать смещения своих обучающих данных и иногда ошибаться — особенно на редких выражениях, сильно локальных отсылках и краевых случаях, по которым данных было мало.

Диалект и культурный нюанс местами субъективны, и даже носители не всегда согласятся, какой ответ «правильный», поэтому TII советует оценивать модель под свой конкретный сценарий, прежде чем полагаться на неё в чувствительных, официальных или высокоставочных задачах, и приглашает эмиратское сообщество присылать обратную связь.