DeepSeek-V4.1-Flash сжимает KV-кэш ради контекста в миллион токенов

Большая модель с меньшим следом памяти

DeepSeek открыла веса DeepSeek-V4.1-Flash и опубликовала технический отчёт о модели. Это мультимодальная Mixture-of-Experts-система с 552 млрд параметров базовой сети и контекстным окном до одного миллиона токенов. Во время предварительного заполнения контекста она активирует 8 млрд параметров на токен, а при генерации — 16 млрд. Такой разрыв рассчитан прежде всего на агентные сценарии, где входной контекст велик, а ответ заметно короче.

Главная тема релиза — не очередное увеличение контекста само по себе, а стоимость его обслуживания. При длинных диалогах и рабочих сессиях KV-кэш занимает память ускорителей, а сохранённые префиксы дополнительно расходуют оперативную память и SSD. По данным DeepSeek, при одинаковой длине последовательности V4.1-Flash требует примерно четверть оперативного KV-кэша и одну восьмую постоянного кэша по сравнению с DeepSeek-V4-Flash. Это заявленные разработчиком значения из технического отчёта, а не независимый производственный замер.

Как устроено сжатие

В основе модели лежит Causal Encoder-Decoder. Глобальные ключи и значения для декодера проецируются из последних скрытых состояний энкодера, а новый механизм Compressed Sparse Attention 2 распределяет работу между тремя режимами слоёв. Full вычисляет глобальный KV-кэш и индексы, Reindex повторно использует уже созданный KV-кэш, но пересчитывает отбор позиций, а Reuse переиспользует и кэш, и Top-K индексы. Так соседние слои не обязаны хранить одинаковые данные независимо друг от друга.

Вторая часть экономии связана с точностью хранения. DeepSeek обучала глобальный KV-кэш в FP4 и сообщает лишь о незначительном ухудшении качества. Для локального контекста во всех слоях используется Sliding-Window Attention. Механизм SWA Bounded Replay позволяет не держать локальный кэш на SSD постоянно: при восстановлении система заново обрабатывает только последнее окно токенов, а не последовательность, умноженную на число слоёв.

Архитектуру дополняют Single-Pass mHC, модуль условной памяти Engram и DSpark для спекулятивного декодирования. В отчёте утверждается, что при увеличении контекста с 4 тысяч до 1 миллиона токенов — в 256 раз — вычислительная стоимость декодирования одного токена растёт лишь примерно на четверть. Это важный акцент релиза: длинный контекст должен масштабироваться не только формально, но и по памяти и вычислениям.

Мультимодальность и обучение

DeepSeek-V4.1-Flash изначально обучалась как мультимодальная модель. В конфигурации опубликован отдельный vision encoder на 32 слоя, а изображение может занимать до 1024 специальных токенов. Предобучение проходило на корпусе объёмом 45 трлн токенов. Разреженное внимание запускали сразу на последовательностях длиной 64 тысячи токенов, без промежуточного этапа с плотным вниманием.

Официальный репозиторий содержит 48 частей весов в формате safetensors, конфигурацию, токенизатор, код кодирования промптов и минимальную реализацию инференса на PyTorch. Последняя охватывает vision encoder и aligner, CSA2, Engram, MoE, Hyper-Connections и DSpark. Разработчики отдельно предупреждают, что это читаемый эталон, а не готовый высокопроизводительный сервер. Для конвертации примера предлагается tensor parallelism на восьми процессах и экспертные веса FP4.

Что показывают тесты — и чего они не доказывают

В собственной таблице базовых моделей DeepSeek-V4.1-Flash активирует меньше параметров, чем V4-Pro, и при этом достигает близких результатов на ряде задач. Например, авторы приводят 60,6% Pass@1 на BigCodeBench, 79,4% на HumanEval и 45,2% на LongBench-V2. Для мультимодальных задач указаны 56,5% на MMMU-Pro, 95,6% по оценке LLM-судьи на DocVQA и 77,9% на CVBench. Все эти числа получены во внутреннем контуре DeepSeek при заявленных единых настройках.

После постобучения максимальный режим V4.1-Flash получил рейтинг 3471 на Codeforces, 74,2% решённых задач в DeepSWE v1.1 и 90,6% на Terminal-Bench 2.1. Но тот же отчёт показывает неоднородную картину: на Terminal-Bench 3.0 и 4.0 модель набрала 30,0% и 31,2%, уступив нескольким закрытым системам из сравнения. Поэтому релиз разумнее читать как демонстрацию инженерного обмена между памятью, скоростью и качеством, а не как универсальное лидерство во всех бенчмарках.

Практическая ценность V4.1-Flash станет понятнее после независимых тестов на реальном оборудовании. Пока можно подтвердить главное: DeepSeek открыла крупную мультимодальную модель, код формата промптов и эталонного инференса под лицензией MIT, а центральным техническим результатом назвала многократное сокращение KV-кэша. Именно это может оказаться важнее отдельных мест в рейтингах для долговременных агентов, больших репозиториев и документов, где стоимость хранения контекста быстро становится узким местом.