«Работает как демпфер руля»: Google Research представила Diffusion Controller — управлять генерацией изображений можно и без доступа к весам модели

Единый язык вместо набора приёмов

Текст-в-изображение модели вроде Nano Banana, Stable Diffusion и Flux научились делать фотореалистичные картинки по описанию, но заставить их следовать точному замыслу по-прежнему трудно: модель может нарисовать ящерицу и забыть про солнечные очки, а если настойчиво требовать очки, исказится морда и пострадает качество кадра. До сих пор инженеры решали это двумя не связанными между собой способами — подкручивали влияние текстовой подсказки прямо во время генерации либо дообучали модель тяжёлыми адаптерами вроде LoRA.

Google Research предлагает считать, что общего языка для этих приёмов просто не было, и вводит его: авторы описывают обратное диффузионное сэмплирование как задачу управления состоянием в линейно разрешимых марковских процессах принятия решений (LS-MDP). Управление в такой постановке работает как перевзвешивание переходных ядер предобученной обратной диффузии, а терминальная цель уравновешивается стоимостью в виде f-дивергенции.

Практическая ценность этой математики в том, что она выводит форму модели: оптимальный score раскладывается на фиксированную предобученную базовую часть и лёгкую управляющую поправку. Именно отсюда берётся отдельная side-сеть, которая работает поверх замороженного бэкбона и видит промежуточные результаты денойзинга.

Демпфер руля на замороженном мотоцикле

Метафора авторов — мощный мотоцикл, перебирать двигатель которого дорого и рискованно. Diffusion Controller в этой картине — лёгкий демпфер руля, который крепится сбоку и подправляет траекторию, пока сам мотоцикл остаётся нетронутым.

Технически управляющая сеть получает «идеальную инструкцию по рулению» — знание базовой модели плюс небольшую поправку — и впрыскивает микроскопические корректировки прямо в процесс очистки изображения от шума. Для этого она наблюдает промежуточное обратное среднее и считает объединённый score. Ключевое следствие: менять внутренние веса не нужно, поэтому подход работает и с моделями, доступ к которым ограничен — в терминологии статьи это серые, grey-box, и чёрные ящики.

Формулировка авторов подчёркивает именно это свойство: лёгкая сеть-«демпфер руля» точно управляет генерацией и при этом «бесшовно подключается даже к моделям с ограниченным доступом и закрытым исходным кодом, повышая качество изображения без потери стабильности базовой модели».

Два метода обучения: PPO и взвешенная награда

Чтобы превратить теорию в инструмент, авторы вывели два практических метода дообучения, оба опираются только на итоговую оценку результата. Первый — обновления policy gradient в стиле PPO, «устойчивый оптимизатор»: он двигает модель небольшими шагами и содержит встроенное правило отсечения (clipping), которое работает как ограничитель скорости и не даёт обучению сорваться в резкие изменения поведения.

Второй — reward-weighted loss, «короткий путь»: прямое взвешивание процессов генерации, дававших высокое качество, с математической гарантией, что модель научится воспроизводить именно нужный тип изображений. В статье к этому добавляется сохранение минимизатора при регуляризации по дивергенции Кульбака — Лейблера.

Эксперименты: Stable Diffusion v1.4, HPS-v2 и 90%

Эксперименты ставились на бэкбоне Stable Diffusion v1.4 в трёх режимах дообучения: обучение с учителем (SFT), взвешенная по награде потеря (RWL) и PPO. Качество сцепки изображения с подсказкой измеряли стандартной метрикой Human Preference Score (HPS-v2), а четыре реализации фреймворка сравнивали с бейзлайнами и между собой: Diffusion Controller для серого доступа, наивный Diffusion Controller-Naive, а также white-box-варианты Diffusion Controller-J с совместным обучением и Diffusion Controller-S с раздельным.

Главная цифра, которую приводит Google Research, относится к полностью разблокированной версии: модель с неограниченным white-box-доступом к внутренним весам показала 90% побед над базовой моделью. Более интересный для практики результат — в режимах SFT и RWL серый вариант с демпфером обошёл LoRA, состояние искусства среди параметро-эффективных white-box-адаптеров, по доле побед в HPS-v2; и это при том, что он трогал заметно меньше внутренних слоёв модели, чем LoRA. В панельной человеческой оценке Diffusion Controller получил лучшие субъективное качество и соответствие промпту на сложных многоатрибутных запросах.

В научной статье тот же результат сформулирован сдержаннее: на Stable Diffusion v1.4 при обучении с учителем и по награде получен устойчивый прирост доли побед по выравниванию с предпочтениями и улучшенный компромисс между качеством и эффективностью — по сравнению как с серыми бейзлайнами, так и с white-box-адаптером LoRA.

Один параметр во время работы

Отдельно авторы отмечают гибкость в рантайме: сила управляющих ограничений задаётся одним параметром на этапе инференса. Крутить его можно вверх и вниз прямо во время работы, плавно меняя сцепку с промптом, и это не ломает стабильность базовой модели и не даёт визуальных искажений, характерных для старых методов управления.

Что здесь проверено, а что пока заявление авторов

Все результаты — собственные эксперименты Google Research на Stable Diffusion v1.4 и собственной метрике HPS-v2. Независимых измерений нет, как нет и кода или весов, о выпуске которых в тексте не заявлено; HPS-v2 — автоматический прокси предпочтений, а не измерение качества на живых пользователях.

Важная деталь о датах: научная статья «Diffusion Controller: Framework, Algorithms and Parameterization» подана в arXiv 7 марта 2026 года, а разбор в блоге Google Research датирован 29 сентября 2026 года. То есть речь о позднем первопартийном объяснении уже опубликованной работы, а не об анонсе нового релиза.

Заявленные направления развития — тоже планы, а не результаты: перенос управляющей сети на персонализацию, механизмы безопасности против генерации вредного контента и адаптация демпфера к видеомоделям следующего поколения.