«Один проход вместо цепочки размышлений»: Google заменила рассуждения на диффузионный fan-out в поиске

Почему обычная LLM не поисковый эксперт

Современный поиск и рекомендательные системы всё чаще должны возвращать не одну лучшую карточку, а связный набор результатов. На запрос про снаряжение для кемпинга пользователю нужны палатка, спальный мешок, горелка и налобный фонарь, а не десять вариаций четырёхместной палатки.

Для этого применяется query fan-out: широкий запрос разбивается на несколько связанных подзапросов, чтобы покрыть возможные интересы пользователя. Проблема в том, что обучение LLM такому разложению с учётом конкретной базы данных выкачивает огромный бюджет размышлений.

Первая причина названа прямо: paraphrastic collapse, или парафрастическое схлопывание. Без оптимизации под базу zero-shot-модели склонны генерировать не комплементарные грани темы, а избыточные почти-синонимы. На широкий запрос «bohemian festival style» стандартная LLM без аккуратного промптинга выдаст «bohemian festival fashion» и «bohemian festival clothes», тогда как эксперт назвал бы fringe jackets, crochet dresses или suede boots.

Вторая причина — задержка авторегрессии. Чтобы разложить сложный запрос, современным моделям обычно нужен большой бюджет размышлений: сотни промежуточных токенов chain-of-thought, которые планируют расширение до вывода самих поисковых фраз. Для диалогов это приемлемо, но для поиска, возвращающего набор, возникает структурное узкое место, а генерация токен за токеном создаёт «пол» задержки, несовместимый с субсекундным откликом рабочей поисковой строки.

Три шага, 53,9 млн параметров и композитная награда

Retrieve-for-Train переносит тяжёлую работу в офлайн и описан в статье на ICML 2026. Сначала обучение с подкреплением тренирует fan-out language model (FOLM) выдавать подзапросы, согласованные с наборными свойствами: награда проверяет всю группу результатов целиком, а не каждый результат по отдельности.

Затем замороженная FOLM синтезирует пары «запрос → целевой набор» полностью офлайн для обучения с учителем, без человеческой разметки. И наконец компактная диффузионная модель на 53,9 млн параметров учится отображать эмбеддинг запроса сразу в полный набор целевых эмбеддингов за один неавторегрессивный проход, что формально убирает необходимость в текстовых токенах рассуждения.

Ключ к результату — в определении «хорошего» поискового поведения. Классическое обучение с учителем оценивает релевантность поточечно, но диверсити и комплементарность одного элемента не измерить: эти свойства существуют только на уровне всей коллекции. Поэтому FOLM дообучается на открытых моделях Gemma3-4B и Qwen3-4B с жёсткой математической композитной наградой из трёх competing-опор.

Первая опора — groundedness: штраф за расстояние до многообразия базы, который требует, чтобы каждый подзапрос соответствовал реальному извлекаемому элементу. Вторая — diversity, измеряемая Vendi Score по всему набору подзапросов и заставляющая модель исследовать смысловую широту. Третья — alignment: привязка подзапросов к исходному широкому запросу, чтобы не было смыслового дрейфа.

Эта триада работает как взаимные противовесы. Если оптимизировать только groundedness, модель начинает взламывать награду вырожденными бессмысленными строками, которые математически попадают в нужную координату базы. Если добавить alignment, политика жульничает иначе — схлопывается в повторяющиеся пересказы запроса пользователя. Vendi Score как контр-якорь закрывает эти обходные решения и заставляет политику искать сбалансированную область пространства эмбеддингов.

Обучение идёт через group relative policy optimization (GRPO) с мягкой регуляризацией PPO — этот подход авторы называют Soft-GRPO.

Что показали эксперименты

Оценка шла в двух режимах наборного поиска: open-ended abstract retrieval, где единственно верного эталона не существует и качество измеряется исключительно наборными свойствами, и weakly supervised compositional retrieval, где запросу сопоставлен слабый референсный набор.

Эмбеддинги брались из двух доменов: крупный датасет модных образов, собранных пользователями, для экспериментов text-to-image с оценкой через CLIP-ретривер, и проприетарный промышленный датасет экспертных музыкальных плейлистов для text-to-music с оценкой через MuLan. Языковые модели генерировали ровно 10 подзапросов на каждый основной поисковый запрос.

Retrieve-for-Train обошёл и обычный поиск по одному запросу, и zero-shot-расширение, и хорошо оптимизированный бейзлайн Best-of-N. Качественно разница видна так: zero-shot-модели выдавали почти-синонимы и получали избыточные результаты, а фреймворк порождал различимые направления вроде boots или lace, оставаясь строго заземлённым в многообразии базы.

12–20 раз быстрее авторегрессии

Прямое развёртывание RL-настроенной языковой модели давало исключительное качество поиска, но сохраняло стандартные ограничения авторегрессивной задержки и требовало большого вычислительного бюджета на размышления.

Дистилляция в диффузионную модель на 53,9 млн параметров сняла это узкое место: целевые направления генерируются одновременно, в одном неавторегрессивном параллельном проходе в непрерывном пространстве эмбеддингов, что даёт ускорение от 12 до 20 раз. В масштабе разрыв становится нагляднее — задержка авторегрессивного fan-out линейно растёт и на больших батчах контекста доходит почти до 50 секунд, тогда как Retrieve-for-Train-Diffusion держится между долями секунды и несколькими секундами.

Якорь против взлома награды

Авторы отдельно описывают аблацию, которая и привела к конструкции с Vendi Score. Без члена разнообразия модель быстро схлопывается в вырожденные, бессмысленные строки вроде «line ending line ending», математически эксплуатируя координаты вектора базы. Геометрическая метрика разнообразия работает как якорь и заставляет модель искать устойчивую область пространства эмбеддингов, где награду можно поднять только за счёт поведения настоящего поискового эксперта.

Общий вывод сформулирован так: RL эффективен, когда используется как одноразовый «преобразователь цели», а не как онлайн-движок вывода. Разделяя тяжёлое исследование поведения под награду и итоговую развёрнутую модель, фреймворк обходит крутую задержку инференса и высокие накладные расходы онлайн-развёртывания LLM.

Практическая ценность заявлена для специализированных и мультимодальных доменов, где пар «запрос — набор» с человеческой разметкой либо мало, либо они дороги: дистилляция наборных свойств в лёгкий диффузионный приор позволяет оптимизировать диверсити и alignment в продакшн-ретриверах. Препринт с описанием метода опубликован на arXiv под названием «Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion».