«Одна потерянная точка — уже другое слово»: TII адаптировала 270M-модель Falcon OCR под арабский и обошла системы в 1500 раз крупнее

Распознать арабский — это не то же самое, что распознать английский

Арабское письмо ставит перед OCR задачи, которых почти не бывает на латинице. Большинство букв меняют форму в зависимости от позиции в слове — отдельная она, начальная, срединная или конечная, — поэтому один и тот же символ выглядит по-разному. Точки несут смысл: несколько букв имеют одинаковый базовый контур и различаются только точками, как ب, ت, ث, ن, ي. Одна потерянная или лишняя точка превращает букву, а часто и всё слово, в другое.

Сверху и снизу добавляются огласовки (ташкиль), которые легко и потерять, и выдумать. Реальные документы грязнее учебника: таблицы справа налево, арабский вперемешку с латиницей, западные (123) и восточные арабские (١٢٣) цифры в одном тексте, шум термобумаги и штампов. И отдельная тонкость — порядок чтения: модель обязана выдавать текст в том порядке, в котором его читают, а не в том, в котором фрагменты расположены на странице визуально.

Англоязычная OCR-модель ничего из этого не видела. Falcon-OCR-Arabic — попытка закрыть именно этот разрыв, не раздувая модель.

Компактная база: раннее слияние вместо отдельного энкодера

В основе лежит Falcon OCR — 270-миллионная раннеслитная (early-fusion) OCR-модель TII, представленная в публикации Falcon Perception. Вместо связки «отдельный vision-энкодер плюс языковая модель» здесь один плотный Transformer с первых слоёв читает в общем пространстве параметров и патчи изображения, и текстовые токены. Гибридная маска внимания, реализованная через PyTorch FlexAttention, позволяет токенам изображения смотреть друг на друга в обе стороны, а текстовым токенам — порождаться причинно, с опорой на всё изображение целиком.

Задача модели задаётся не отдельными модулями, а подсказкой: аргумент категории выбирает, что вернуть — обычный текст, LaTeX для формул или HTML для таблиц. Модель обучали распознаванию с нуля, а не дистиллировали из vision-учителей, поэтому её признаки улавливают тонкие детали глифов и штрихов. Для письменности, где всё решает точка, это важное свойство. На английских документах Falcon OCR набирает 80,3 балла на olmOCR и 88,64 на OmniDocBench. Модель доступна на Hugging Face как tiiuae/Falcon-OCR — карточка указывает 270 миллионов параметров, задачу «image-to-text» и раннеслитную архитектуру.

Адаптация в два этапа: сначала показать, потом поправить

Архитектуру при переходе на арабский не трогали — менялись только данные и режим обучения. Первый этап — обучение с учителем (supervised finetuning, SFT) на смеси настоящих и синтетических арабских документов из тех категорий, которые чаще всего нужно оцифровывать: чеки, счета, административные формы, книги и другое. Настоящие документы приносят реальные макеты и реальный шум, синтетические — масштаб, точные метки и покрытие редких случаев вроде плотных огласовок, таблиц справа налево и строк со смешанными письменностями.

Обучали той же целью, что и базовую модель, — предсказанием следующего токена на структурированном тексте; арабский приходит как новые данные, а не как новый модуль. В раннеслитной модели одни и те же веса и читают патчи изображения, и порождают выходной текст, поэтому модель учится видеть арабские глифы и писать арабский текст вместе.

Второй этап — обучение с подкреплением (RL) на отобранных образцах высокого качества. Его цель — ошибки, которые пословная функция потерь почти не наказывает, но которые сильно бьют по пользователю: смещённая точка, выдуманная огласовка, пропущенная строка или цикл, повторяющий строку таблицы. Награда здесь поощряет точные, полные и хорошо структурированные транскрипции.

Бенчмарк: 11 974 реальных документа и 15 категорий

Чтобы измерить результат на настоящих арабских документах, команда собрала бенчмарк из 11 974 реальных образцов, охватывающих 15 категорий документов. Его встроили в оценочный фреймворк OmniDocBench, поэтому все модели считаются по одной и той же методике сопоставления и по тем же метрикам, что применяются к разбору полных страниц.

Основная метрика — точность текста: 100 минус среднее нормированное редакционное расстояние на страницу, причём с учётом огласовок, так что пропущенная или выдуманная огласовка идёт в минус. Для таблиц дополнительно считается Table TEDS — насколько предсказанная таблица совпадает с эталоном и по структуре, и по содержанию; отсутствующая таблица получает ноль.

В сравнении участвовали 17 моделей двух групп. Универсальные мультимодальные модели: Gemini 3.5 Flash, Claude Opus 5.5, Claude Fable 5, GPT Astra, GPT Sol, GPT Luna, Qwen 3.8 Max, Qwen 3.5 397B A17B, Qwen 3.5 122B A10B и Qwen 3.8 27B. Специализированные OCR-модели: Chandra OCR 2, Surya OCR 2, PaddleOCR VL 1.6, Ovis OCR 2, DeepSeek OCR и GLM OCR.

Результат: второе место из 17 и лучшие таблицы

Falcon-OCR-Arabic набирает 81,87% точности текста — второе место после Gemini 3.5 Flash с 84,34%. Разрыв с лидером — 2,5 процентного пункта, а отрыв от всех остальных — уже заметный: Claude Opus 5.5 остаётся позади на 2,65 пункта, Claude Fable 5 — на 2,86, GPT Astra — на 6,85, Qwen 3.8 Max — на 7,08. Среди специализированных OCR-моделей лучший результат у Chandra OCR 2 — 61,67%, то есть Falcon-OCR-Arabic обходит любой выделенный OCR-инструмент из сравнения более чем на 20 пунктов.

По таблицам модель вне конкуренции: Table TEDS 59,95% — лучший результат среди всех 17 моделей, на 8,65 пункта выше ближайшего преследователя, того же Gemini 3.5 Flash (51,30%).

Авторы отдельно подчёркивают масштаб: самая большая модель в сравнении, Qwen 3.5 397B A17B, имеет примерно в 1500 раз больше параметров, но набирает на 14,5 пункта меньше. Второй вывод — про специализацию: для арабских документов адаптация компактной OCR-модели обыграла и более крупные универсальные модели, и другие OCR-специалисты.

Отдельно измерен вклад самой адаптации. Базовая Falcon OCR на том же бенчмарке даёт 55,39% точности текста и 24,83% Table TEDS, а Falcon-OCR-Arabic — 81,87% и 59,95%: прирост 26,48 и 35,12 пункта. В относительных числах точность текста выросла примерно на 48%, а качество таблиц более чем удвоилось. Поскольку базовая модель строилась под английские документы, этот разрыв и есть измеримый эффект арабской адаптации.

Где модель первая, а где второй

По категориям видно, на что модель настроена лучше всего. Она лидирует на структурированных деловых и административных документах — именно тех, что чаще всего нужно оцифровывать, — и на каждом из них обходит Gemini 3.5 Flash: официальные документы 83,8% против 82,9%, административные формы 75,3% против 72,8%, чеки 70,5% против 68,6%, счета 72,8% против 70,0%.

На книгах — самой крупной категории бенчмарка (4296 образцов, больше трети всего набора) — модель идёт близко второй: 90,1% против 91,0% у Gemini. На графике — 80,2% против 82,4%, в собирательной категории Other — 81,0% против 81,9%. На рукописном тексте она вторая с 78,1%, отставая от Gemini на 6,6 пункта. В целом модель попадает в первую четвёрку во всех 15 категориях, включая этикетки (3-е место, 65,5%), скриншоты (3-е, 79,5%), визитки (4-е, 82,4%) и текст в кадре (4-е, 68,3%).

Отставание начинается там, где страницы плотные и визуально сложные: газеты (55,4% против 72,2% у Gemini), комиксы (69,7% против 82,6%) и журналы (68,0% против 79,6%). Во всех категориях, где Falcon-OCR-Arabic не первая, впереди именно Gemini 3.5 Flash, и разрыв растёт на насыщенных вёрсткой страницах.

Ограничения

Авторы не скрывают слабых мест. На плотных визуально сложных страницах — газетах, журналах, комиксах — разрыв с сильнейшей универсальной моделью наибольший. На рукописном тексте модель вторая, но всё ещё проигрывает Gemini 3.5 Flash 6,7 пункта. Это те области, где у модели остаётся запас для роста, и о них стоит помнить, выбирая её под конкретную задачу.

Как попробовать

Falcon-OCR-Arabic — это адаптация уже открытой модели: базовая tiiuae/Falcon-OCR доступна на Hugging Face как модель для задачи «image-to-text». Точное название для цитирования в научных работах авторы приводят отдельно — @misc{falcon_ocr_arabic_270M_2026,...}, автор Falcon LLM team, организация Technology Innovation Institute, 2026 год. Результат достоин внимания именно как демонстрация подхода: вместо того чтобы растить модель, TII адаптировала компактную 270M-модель под конкретную письменность и обошла на ней решения в разы крупнее.