«Один проход вместо конвейера»: LightOn AI выпустила LightOnOCR-3 — OCR, разметку страницы и графики в одной модели

Что вышло

LightOn AI выпустила семейство лёгких OCR-моделей LightOnOCR-3 сразу в трёх размерах: LightOnOCR-3-0.8B, LightOnOCR-3-1B и LightOnOCR-3-4B.

Модель на 1 млрд параметров сохраняет прежнюю архитектуру, а версии 0,8B и 4B переведены на архитектуру vision-language Qwen3.5 — с разным балансом точности, скорости и требований к вычислениям.

Все три варианта выходят под лицензией Apache 2.0, то есть допускают и исследовательское, и коммерческое применение.

Главная особенность — два режима работы. Пустой текстовый запрос включает обычную транскрипцию, а запрос «grounding» добавляет к тексту подписанные ограничивающие рамки, описания изображений и данные графиков, извлечённые в виде таблиц.

Координаты при этом нормализованы к диапазону 0–1000, а блок графика содержит HTML-таблицу с точками данных.

Результаты на бенчмарках

На olmOCR-Bench версия LightOnOCR-3-4B набирает 86,3 балла — на 1,3 балла меньше, чем Infinity Parser Pro с заявленными 35,1 млрд параметров.

Вариант 0,8B набирает 85,5 балла, версия 1B — 84,5.

На ParseBench модели 4B и 0,8B занимают первое и второе места по общей оценке из пяти категорий (75,1 и 74,6), немного опережая Infinity Parser Pro с 74,3.

На французском наборе fr-bench-pdf2md лидирует LightOnOCR-3-4B с 74,1 балла — на 3,6 балла выше 0,8B (70,5); у 1B результат 69,6.

Скорость и экономия токенов

В режиме grounding модели 0,8B и 4B генерируют в среднем на 9–14% меньше выходных токенов, чем Chandra-OCR-2 и Infinity-Parser2-Pro.

Рендер страницы с длинной стороной 1540 пикселей сокращает число image-токенов почти на две трети и поднимает пиковую пропускную способность на 44% для 0,8B (4,78 страницы в секунду) и на 66% для 4B (3,36 страницы в секунду).

Версия 1B уже читает страницы в 1540 пикселей и имеет наименьшую задержку на одну страницу — 2,7 секунды.

Замеры проводились на одних и тех же 512 страницах olmOCR-bench — по одной H100 на каждую модель и vLLM, а нагрузку от одной страницы до всех 512 сразу задавали через guidellm.

Как собирали данные

Для SFT-смеси рецепт переработали: страницы с формулами получили двойной вес, страницы с таблицами — тройной, а обычные страницы и прозу сэмплировали реже.

Прозаический корпус очистили, убрали из него табличные примеры и отдельный пул научных страниц, а саму смесь дедуплицировали через MinHash.

Добавились синтетические страницы DocDuck — плотные макеты с мелким шрифтом более чем на 20 языках и состязательными случаями вроде опечаток, похожих глифов и смешанных алфавитов.

Итоговая смесь отдаёт 21,9% примеров на grounding и 78,1% на обычное распознавание; в обучении применили оптимизатор Muon и упаковку последовательностей.

Разметку блоков собирает конвейер, а не одна модель

Разметка строится не «одной умной моделью». Эталонную транскрипцию даёт LightOnOCR-2-1B — ради скорости и единообразного форматирования по всему датасету.

Строки текста выделяет PaddleOCR, дополнительную информацию о разметке — PP-DocLayoutV3 и регионы документа, извлечённые через Docling, а более тонкую детекцию слов для геометрического уточнения даёт DB-ResNet50 из docTR.

Из-за нечёткого сопоставления и эвристик порядка в процедуру добавили автоматические аудиты: они ищут пропущенный, подозрительный или продублированный контент, некорректные привязки текста к рамкам, конфликтующую геометрию и проблемные таблицы.

От начала до конца конвейер оставляет лишь 55% элементов с достаточной уверенностью.

Графики и описания изображений размечает Qwen3-VL-235B — именно так удалось вернуть почти 10 000 графиков, которые источник помечал как обычные изображения.

Каждый график превращается ровно в одну HTML-таблицу, а от «выдуманной сетки» защищают проверки: таблица отклоняется, если два столбца численно идентичны, если значение повторяется три и более раз или если одно значение заполняет 60% и более числовых ячеек.

Уверенность сама по себе такую подделку не ловит — 97% таблиц графиков сообщают значение выше 0,8, поэтому и нужны отдельные правила.

Обучение с подкреплением

После SFT модели прошли этап RL, а данные для него проверялись вручную перед обучением.

Обучали методом GRPO с размером группы восемь на асинхронном одношаговом off-policy тренере verl.

Каждый прогон использовал 600 уникальных страниц, при этом между любой парой сидов пересекалось лишь 14–15% страниц.

Проект получил доступ к вычислениям на MeluXina (проект p201378) и Jean Zay (проект AD011017767R1).

Что это значит

Практический смысл в том, что связка из нескольких специализированных моделей заменяется одним проходом: транскрипция, геометрия блоков и таблицы из графиков приходят из одного инференса.

Лицензия Apache 2.0 и три размера под разные бюджеты по латентности и GPU снижают порог внедрения для команд, которым нужен OCR на собственных документах.