Cognition учит Devin доказывать работоспособность кода с GPT-6 Astra

Кейс смещает акцент с генерации кода на доказательство результата

OpenAI опубликовала историю клиента о том, как Cognition применяет GPT-6 Astra. Cognition — компания, стоящая за Devin, автономным software engineer, которого используют организации от крупных банков до технологических стартапов. По мере роста объёма кода, который пишут инженерные команды, проверка этой работы превратилась в отдельную задачу.

Мотив компания объясняет прямо. «Одна из главных составляющих, которые улучшает Astra, — это её способность тестировать и доказывать, что её работа на самом деле функционирует так, как вы ожидаете», — приводит OpenAI слова соучредителя Cognition Уолдена Яна.

Cognition видит в этой способности путь к более эффективному code review: если Devin сам тестирует свою работу и предъявляет свидетельства результата, инженерам нужно меньше ручного разбора изменений. Это позиция компании-партнёра в материале OpenAI, а не результат независимого измерения.

Devin тестирует игру в симуляторе и прикладывает отчёт

Cognition применяет модель по всей линейке продуктов. «Мы использовали её для улучшений во всём продукте, включая основной облачный агент Devin, а также наши CLI и desktop-продукты», — говорит Ян.

Показательный пример в публикации — игра Otter Run для iPhone. Devin с помощью Astra тестирует её и возвращает запись игры, запущенной в симуляторе, вместе с отчётом, где отмечены пройденные проверки и области, которые остались непокрытыми. Запись показывает поведение приложения, а отчёт документирует объём тестирования, поэтому инженер получает не вывод модели, а материалы для собственной проверки.

Практическая разница здесь в связке артефактов. Видео и отчёт можно приложить к code review: они фиксируют, что именно проверялось, и прямо называют непроверенное. Ответ агента «задача выполнена» такой возможности не даёт, и человеку приходится либо доверять модели, либо воспроизводить её шаги вручную.

Скриншот бага вместо текстового описания

Второй сценарий начинается с обращения клиента. Когда клиент присылает скриншот бага, команда передаёт изображение Devin с Astra, агент исправляет проблему и возвращает скриншот с результатом. По словам Яна, это позволяет отвечать клиентам значительно быстрее.

Такой цикл опирается на визуальный вход и визуальный выход: результат можно оценить, не воспроизводя шаги агента. При этом публикация не приводит ни времени исправления, ни доли успешных проходов, ни ограничений сценария.

Цель Cognition сформулирована на уровне процесса, а не отдельного релиза: «Мы ожидаем, что со временем нам придётся вручную просматривать меньше кода и в итоге выпускать больше», — говорит Ян. Это намерение компании, а не измеренный результат.

Cognition измеряет Astra и в собственном harness

Отдельно Cognition сама публикует измерения Astra, но в контексте другого продукта. 11 сентября 2026 года компания представила Fusion в Devin Desktop и CLI: по её описанию, это самый экономичный frontier harness для Fable и Astra, до 39% эффективнее других model harnesses на основных coding benchmarks.

Fusion предлагает выбирать две модели вместо одной: frontier-модель для планирования и ревью и более дешёвую модель для исполнения. Совместно с Artificial Analysis и Vals AI компания оценила связку GPT-6 Astra с SWE-2 в роли sidekick на нескольких coding agent benchmarks.

В таблице для DeepSWE 1.1 у Astra указаны 67,6 балла при показателе стоимости $7.88, у связки Astra + SWE-2 — 67,3 при $4.69; отмеченное в таблице снижение стоимости составляет 40%. Как и в кейсе OpenAI, это измерения самого вендора: Cognition публикует их вместе с двумя оценочными компаниями, но независимого воспроизведения в материале нет.

Что этот кейс не доказывает

Материал OpenAI — история клиента, опубликованная вендором. В ней нет ни числа проектов, ни метрик дефектов, ни сравнения с предыдущей моделью, ни данных о том, как часто Devin ошибается и как часто инженеры всё же правят результат вручную. Подтверждено здесь то, что Cognition применяет Astra в своих продуктах, а её соучредитель считает тестирование ключевым улучшением.

Для команд, которые оценивают автономных агентов, ценность материала в описании нужного артефакта: не отчёта «задача выполнена», а проверяемого доказательства работоспособности кода вместе с явным списком непроверенных мест. Именно такие артефакты позволяют сокращать ручной разбор, не перенося ответственность за качество целиком на модель.