AWS предложила считать цену модели по успешному результату, а не по токену

Цена токена не показывает цену выполненной работы

AWS опубликовала open-source harness openai-on-aws/benchmarks-openai для сравнения моделей по стоимости успешного результата. В нём gpt-5.6-luna, gpt-5.6-terra и gpt-5.6-sol на Amazon Bedrock сопоставляются с gpt-5.4-mini и gpt-5.4-nano через OpenAI API. Авторы измеряют не только расход tokens, но и долю правильных ответов, длину agent trajectories и качество профессиональных deliverables.

Все пять моделей вызываются одним Responses API client с общей evaluation logic, но условия не являются лабораторно равными. У моделей на Amazon Bedrock reasoning был отключён, а baselines на OpenAI API работали с настройками по умолчанию. Поэтому результаты описывают практические deployment configurations, а не внутреннюю способность моделей вне конкретной инфраструктуры и параметров.

Набор включает AIME, GPQA Diamond и MMLU-Pro для single-call accuracy, 50 задач DeepSearchQA с реальным web search для многошаговых агентов и 48 задач GDPval с профессиональными deliverables. Размер отдельных выборок составляет от 48 до 198 элементов, а оценивание сочетает deterministic checks и gpt-5.5 judge с фиксированными prompts. Сама публикация советует считать небольшие разрывы ориентировочными и повторять benchmark на собственном workload.

Стоимость правильного ответа меняет рейтинг моделей

Метрика cost per correct answer делит весь расход модели — включая неудачные попытки — на число верных ответов. В выборке AIME gpt-5.6-sol решила 75% задач против 37% у gpt-5.4-mini; на GPQA Diamond соотношение составило 68% против 43%, на MMLU-Pro — 82% против 59%. Авторы предупреждают, что реальные retries коррелируют между собой, поэтому простое деление на accuracy не заменяет измерение собственной стратегии повторов.

После указанного AWS снижения цен 30 июля 2026 года записанная стоимость правильного ответа AIME составила $0.0021 для gpt-5.6-luna и $0.0139 для gpt-5.4-mini. Во всех показанных single-call samples luna дала минимальную наблюдаемую стоимость правильного ответа, хотя nominal token price у nano в принятых допущениях немного ниже. Причина — сочетание accuracy, числа billed tokens и цены, а не один тарифный показатель.

Этот вывод зависит от зафиксированных в result files тарифов и режима inference. Публикация указывает для luna $0.22/$1.32 за миллион input/output tokens, для terra — $2.20/$13.20, и прямо просит сверять актуальные Bedrock tier и region с live pricing page. Следовательно, воспроизводить нужно не только prompts и модели, но и ценовой snapshot.

В агентных задачах счёт раздувает история диалога

В DeepSearchQA harness управлял историей на стороне клиента с store: false, поэтому каждый новый turn заново отправлял system prompt, результаты tools и накопленный контекст. При линейном росте контекста суммарный billed input может расти примерно квадратично с числом turns. Из-за этого модель, которая раньше завершает поиск, экономит не только отдельные вызовы, но и многократную пересылку всей траектории.

gpt-5.4-mini в 50 задачах делала в среднем 7.6 turns и получила 114 тысяч input tokens на вопрос — в 2.3 раза больше, чем terra с 50 тысячами. В этой выборке стоимость passing answer была $0.31 у terra против $0.40 у mini, а mean F1 — 0.50 против 0.39. Luna показала $0.05 за passing answer против $0.40 у mini; nano при 18% pass rate получила $0.07.

Авторы не представляют эти числа как универсальную таблицу выбора. Выборка содержит лишь 50 вопросов, близкие различия названы directional, а ответы проходили при F1 не ниже 0.7 после deterministic pre-pass и frozen gpt-5.5 autorater. Надёжный практический вывод уже: для research и multi-hop agents нужно измерять полную trajectory cost, а не умножать среднее число output tokens на цену одного вызова.

Профессиональные документы добавляют цену проверки и переделки

В GDPval документ считался успешным при наборе не менее 70% weighted rubric points. Luna прошла 27 из 48 задач против 20 у mini, а наблюдаемая цена passing deliverable после repricing составила $0.010 против $0.030. Nano прошла 35% задач при $0.012 за успешный документ; terra и sol показали более высокое качество, но сохранили ценовую премию за pass.

У этого результата есть существенное ограничение: outputs были ограничены 8 192 tokens. Лимит обрезал 6 ответов luna, 9 terra, 7 sol, ни одного mini и один nano. Повышение cap может улучшить полноту, но одновременно увеличит расход, поэтому качество и стоимость нужно тестировать вместе.

Для сложных рабочих документов итоговая экономика включает review и rework. Более дорогая модель может быть выгоднее, если чаще проходит quality gate, но только когда стоимость проверки и последствия ошибок измерены в конкретном процессе. Публикация предлагает заменить абстрактный рейтинг моделей набором собственных задач с известными правильными результатами и повторять оценку после изменения цен, моделей или workload.

Методика важнее победителя одного прогона

Авторы предлагают начать с 50–100 собственных задач и теми же scripts посчитать accuracy, cost per correct answer, agent trajectories, rubric-graded deliverables и latency. Репозиторий сохраняет timestamped JSON results, а charts строятся из этих файлов. Это превращает выбор модели в воспроизводимую процедуру с зафиксированными prompts, тарифами и конфигурацией.

Опубликованный decision framework советует первой проверять gpt-5.6-luna для массовых задач, interactive apps и quality-gated документов, а для tool-chaining agents сравнивать luna и terra. Sol предлагается тестировать там, где accuracy является жёстким gate и дешёвые варианты не проходят порог. Эти рекомендации следуют из конкретных samples AWS, а не заменяют собственный benchmark.

Главный сдвиг — единицей сравнения становится не token, а принятый бизнесом outcome. Чтобы такая метрика не стала новой упрощённой ценой в таблице, вместе с ней нужны качество, retries, длина trajectory, latency, review и стоимость ошибок. Только полный контур показывает, какая модель действительно дешевле для работающего продукта.