Ai2 открыла веса AstaBrief 8B — генератора научных отчётов со ссылками за 51 секунду

Что именно открыли

AstaBrief 8B — открытая модель, которая по исследовательскому вопросу и найденным фрагментам литературы собирает цитируемый отчёт; она уже доступна в функции Generate a report платформы Asta как режим Fast рядом с режимом Thinking на моделях Claude.

Вместе с весами Ai2 публикует данные обучения, чтобы подход можно было изучить, воспроизвести и развивать, а также пример рабочего процесса для создания отчётов по собственным PDF.

Открытые веса, по замыслу Ai2, позволяют организациям запускать модель на своей инфраструктуре — это важно, когда исследовательские вопросы затрагивают чувствительные или ещё не опубликованные материалы.

Карточка модели на Hugging Face подтверждает, что AstaBrief-8B обучена только supervised fine-tuning и offline direct preference optimization и инициализирована из чекпойнта AstaBrief-8B-SFT.

Как обучали: SFT и DPO вместо RL

Целью было собрать открытую по весам модель с качествами, которые важнее всего для длинного научного синтеза: качество ответа, релевантность, структуру и привязку ссылок к утверждениям.

За основу взяли Qwen3-8B, а основные усилия направили на данные пост-обучения, оценку и обвязку генерации отчётов.

Ai2 сознательно отказалась от обучения с подкреплением: такой путь нестабилен и дорог, поэтому выбрали более простой и управляемый рецепт — SFT и DPO, который проще отлаживать и развивать.

Скорость получили архитектурно: модель генерирует финальный отчёт за один проход по запросу и релевантным фрагментам, минуя дорогие этапы суммаризации и кластеризации, которые использует режим Thinking на Claude, и не расписывая ответ по секциям.

Ai2 отмечает, что этого удалось добиться без потери качества.

Откуда взялись данные

Пайплайн начался с реальных пользовательских запросов из системы ScholarQA, на которой сейчас работает генерация отчётов в Asta, — а не с синтетических подсказок или задач-бенчмарков.

Логи отфильтровали по качеству, релевантности и приватности: убрали трафик бета-тестеров и ботов, отбросили слишком короткие запросы и с помощью LLM-фильтра убрали неанглоязычные и ненаучные запросы и подсказки с персональными данными — остался пул из 90 тыс. исследовательских запросов.

Целевые отчёты для SFT генерировала многошаговая ScholarQA с моделями Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini и GPT-4.1; после фильтрации по качеству получилось 47 тыс. пригодных обучающих примеров.

Пары для DPO строили иначе: один отчёт давала ScholarQA, второй — одна из моделей o3, o4-mini, DeepSeek-V3 или DeepSeek-R1, а сравнивали их два судьи — GPT-4.1 и DeepSeek-R1.

Согласие судей с человеческими предпочтениями составило 95%, и в набор попадали только пары, где оба судьи совпали, — после фильтрации осталось около 6 тыс. примеров.

Что дало качество: фильтры данных

Первые прогоны SFT улучшили содержание отчётов, но всё ещё уступали пайплайну на Claude по точности ответов и качеству ссылок.

Тогда Ai2 проверила четыре статистических фильтра для слабых синтетических примеров: отношение токенов выхода к входу, релевантность цитируемых работ, плотность ссылок и разнообразие цитируемых статей.

Наибольший эффект дал самый простой сигнал — доля утверждений, у которых есть хотя бы одна ссылка; более агрессивная фильтрация, комбинации фильтров и подбор learning rate заметных улучшений не добавили.

Вывод Ai2: специализация под науку — это не столько добавление научных текстов в предобучение, сколько состав и качество данных пост-обучения, которые показывают нужное поведение — опору на источник и атрибуцию.

Отдельно Ai2 предупреждает о ловушке научной достоверности: модель может процитировать правильную работу и при этом сделать более сильное утверждение, чем она подтверждает, — превратив вывод по конкретной выборке в обобщение о целой популяции.

Оценка и живые цифры

Основной целью оценки был SQABench-CS2 — набор из 200 написанных пользователями вопросов по computer science; на нём отслеживали четыре метрики: оценку по рубрикам, точность ответа, точность ссылок и полноту ссылок.

Дополнительно модель проверяли на DeepScholarBench из 63 запросов и в двух сравнениях с пайплайном на Claude: судейство LLM на SQABench-CS2 и небольшое исследование с людьми.

В исследовании с людьми 14 вопросов задавали три научных исследователя; по общей предпочтительности выиграл DR-Tulu, но двое из трёх предпочли AstaBrief по метрикам точности ссылок.

В проде режим Fast опробовали 374 пользователя Asta: 29,1% пользовались им два дня и дольше, в среднем на пользователя приходится 3,67 ветки отчётов, 23% перешли на Fast и больше не возвращались к Thinking, ещё 18% чередовали режимы — на Fast пришлось около 40% их веток.

Доля положительной обратной связи у Fast и Thinking близка — 84,2% против 85,2%, — хотя Ai2 оговаривает, что данных для сильных выводов пока мало.

Оговорки и контекст

Ai2 прямо предупреждает: большая часть обучения и оценки выполнена в 2025 году, сравнения шли с моделями того времени, и полной перепроверки на сегодняшних фронтирных моделях не было — цифры стоит читать как проверку инженерного подхода, а не как заявление о месте модели среди актуальных лидеров.

AstaBrief — часть линии работ Ai2 по языковым моделям для науки, от ScholarQA и DR Tulu до будущих версий Olmo; дальше Ai2 называет более тонкое обучение предпочтениям, связку RAG и RL, многошаговые и многоинструментные сценарии, новые научные источники данных и разложение запросов.