«С 85% до стабильно выше 90%»: OpenAI переписала кэш промптов для GPT-6

Зачем кэш долгоживущим агентам

GPT-6 рассчитан на постоянных агентов, которые часами работают над сложными задачами — от рефакторинга кодовых баз до подготовки документов и презентаций. Такие приложения делают серию запросов к API, развивающих друг друга, и снова и снова несут одни и те же инструкции, определения инструментов и контекст прошлых ходов.

OpenAI кэширует этот общий контекст, чтобы переиспользовать вычисления между запросами: ответы приходят быстрее, а разработчики получают скидку до 90% на закэшированные входные токены. В семействе GPT-6 запущена улучшенная система кэширования промптов, которая даёт более высокие попадания по умолчанию, а скидки теперь привязаны к подходящим общим префиксам, переиспользованным в течение 30 минут.

Как измерять кэш и разбирать промахи

Панель Prompt Caching Dashboard показывает, какая доля входных данных приложения обслуживается из кэша, позволяет следить за попаданиями во времени и сравнивать закэшированные и незакэшированные токены по составу входа. Это помогает вовремя заметить падение попаданий и оценить, как правки в приложении влияют на переиспользование контекста.

Для неожиданных промахов есть инструмент диагностики кэширования промптов: он сравнивает запрос с недавним ответом и показывает, что именно помешало переиспользованию — модель, инструменты, настройки или входные данные. Ответ приходит разобранной структурой: в примере из документации промах типа cache_miss с причиной tools_changed показывает 5 629 переиспользуемых токенов и столько же потерянных, а размер эффекта оценивается числом затронутых токенов.

Что теперь можно настраивать

Явные точки кэширования (explicit breakpoints) позволяют выбрать, какие префиксы промпта переиспользовать; обновлённое руководство по кэшированию объясняет, как ими пользоваться, сколько живут подходящие префиксы и как на переиспользование влияют изменения инструментов и входных данных.

Уровень рассуждений теперь можно менять между ответами, не ломая кэш: чтобы поднять усилие для более сложной задачи или снизить его для рутинного уточнения, достаточно добавить configuration_update, оставив reasoning effort на уровне запроса без изменений. Чтобы кэш жил дольше при изменении инструментов и инструкций, OpenAI советует держать определения, схемы и порядок инструментов стабильными, а доступность регулировать через allowed_tools — делать вызываемыми только нужные инструменты или ставить tool_choice в none, вместо того чтобы удалять определения.

Новые инструкции лучше добавлять новыми developer-сообщениями в конец контекста, перекрывая более ранние. Для снижения задержки предусмотрен предварительный прогрев: приложение может заранее подготовить общие инструкции, определения инструментов или справочные материалы на старте, до первого вопроса пользователя, выводя эту обработку из времени ожидания.

Что говорят заказчики

Директор по продукту GitHub Марио Родригес говорит, что кэширование промптов критично для скорости Copilot: за несколько месяцев доля токенов промпта, требующих свежей обработки, сократилась более чем на 50% на миллиардах запросов к моделям OpenAI относительно прежней базовой линии. Руководитель агентной команды Manus Бин Фань рассказывает, что менее чем за неделю совместной работы попадания в кэш у моделей OpenAI выросли примерно с 85% до стабильно выше 90%, а вместе с ними снизились расходы на инференс в продакшене.

Ещё один партнёр после перехода на явные точки кэширования поднял попадания на своих оценках с 83% до 91% менее чем за неделю: при той же нагрузке записей в кэш стало примерно на две трети меньше, а расходы на инференс упали на 36%. Технический директор Ариан Ханифи отмечает, что диагностика и панель кэширования подняли попадания на несколько процентных пунктов и снизили расходы на 20%: появились оповещения о неожиданных поломках кэша, причину разбирают агентами Codex, а явные точки кэширования позволяют держать стабильный контекст в начале промпта и часто меняющийся — в конце.

OpenAI перечисляет заказчиков как Strawberry Browser, Manus и Wordsmith, но однозначной привязки компаний к каждому отзыву в публикации нет: имя компании названо только внутри цитаты Manus, поэтому остальные цифры корректно читать как отраслевые ориентиры, а не как показатели конкретной компании.

Как начать

OpenAI предлагает три шага: смотреть попадания в панели Prompt Caching Dashboard, разбирать неожиданные промахи инструментом диагностики и улучшать интеграцию по обновлённому руководству — с учётом того, что кэш стабильнее, когда общие части промпта остаются в начале, а часто меняющиеся инструкции идут в конец. Отдельно компания советует использовать Codex, чтобы просмотреть код, внести улучшения и измерить результат.