Четыре критерия вместо рейтинга: IBM объяснила, почему для Bob self-hosted выбрала NVIDIA Nemotron и Poolside Laguna

Контекст

Материал выходит как продолжение анонса: 30 сентября 2026 года IBM объявила о general availability self-hosted-варианта развёртывания IBM Bob — агентного партнёра по разработке для чувствительных и критичных для бизнеса рабочих нагрузок.

В новой публикации команда Bob описывает, как выбирала модели, — и почему этот выбор нельзя свести к одному числу в лидерборде.

Четыре критерия отбора

Первый критерий — размер и аппаратный след: крупные frontier-модели требуют массивных GPU-кластеров, которые превышают бюджеты большинства on-premises внедрений, поэтому модели оценивали в профилях small, medium и large, чтобы найти баланс интеллекта и вычислительного следа.

Второй критерий — точность кода и завершение задач: бенчмарк автономного исполнения агентом простых, средних и сложных реальных инженерных задач.

Третий критерий — задержка и скорость отклика: измеряли время до первого токена и пропускную способность генерации, потому что разработчикам нужны быстрые циклы обратной связи, особенно когда агент делает многошаговые вызовы инструментов и терминальные операции.

Четвёртый критерий — открытость: развёртывание на своей инфраструктуре требует открытых весов, которые заказчик может администрировать и запускать в собственном контуре, включая air-gapped.

Как проходила оценка

За базовую линию IBM взяла ведущие closed-weight модели Anthropic, OpenAI и Google и сравнила их с открытыми альтернативами на наборе корпоративных задач разработки.

Ключевая деталь методики: модели оценивали вместе с agent harness вокруг них, чтобы измерять сквозную производительность, а не только «сырые» возможности самой модели.

Соинжиниринг с NVIDIA

В первых тестах открытые модели Nemotron показывали сильное рассуждение, но были слишком многословны и требовали лишних шагов для завершения задач.

Инженерная команда IBM Bob работала вместе с NVIDIA над оптимизацией Nemotron именно под harness Bob: помогли тюнинг промптов, параметры сэмплирования, настройки рассуждений и правки harness.

Затем результаты показали людям, которые создают Bob и ежедневно пользуются этими моделями, чтобы их обратная связь возвращалась прямо в цикл доработки.

Что показали модели

NVIDIA Nemotron 3 Ultra выделилась тремя вещами: стабильным и предсказуемым поведением — строгим следованием схемам инструментов без утечки тегов и ухода от задачи; чистыми решениями без переусложнения; низкой задержкой — до примерно 4 раз меньшей на GPU NVIDIA Blackwell по сравнению с ведущими SaaS-моделями, к которым обращаются по сети (внутренние бенчмарки IBM).

Poolside Laguna S 2.1 отличилась другим: рассуждением выше своего класса на бенчмарках кодинга и логики, быстрой генерацией и понятными объяснениями хода мысли, а также сильным соотношением производительности и следа — это делает её пригодной для контуров с ограниченными ресурсами.

Почему вопрос вообще возник

Self-hosted-развёртывание IBM Bob адресовано тем, кто не может отдать код и контекст во внешний облачный контур: речь о регулируемых средах, контурах с требованиями суверенитета данных и миссионно-критичных системах, где важны и безопасность, и эксплуатационная предсказуемость.

Именно поэтому критерий открытости весов в списке IBM стоит наравне с точностью и задержкой: заказчик должен иметь возможность запустить модель в собственном, в том числе изолированном, окружении и управлять ею сам.

Второй практический вывод из описания методики — то, что качество агента определяет не только модель: IBM подчёркивает, что оценивала модели вместе с harness и дорабатывала их под него, а не выбирала «лучшую модель саму по себе».

Что это значит для заказчиков

Начать, по описанию IBM, просто: модели устанавливаются и хостятся на собственной инфраструктуре заказчика, а подключаются через Bob model gateway.

Поскольку всё исполняется на вашем железе, код, интеллектуальная собственность и контекст не покидают ваш контур.

И Nemotron, и Laguna настроены специально под harness Bob, поэтому IBM обещает быстрый и надёжный результат «из коробки» — как для регулируемых и air-gapped контуров, так и просто для self-managed развёртывания.

Отдельно IBM оговаривает, что цифра ускорения получена по внутренним бенчмаркам на GPU NVIDIA Blackwell в сравнении с ведущими SaaS-моделями, доступными по сети, — то есть сравниваются разные способы доставки инференса, а не только сами модели.