«nDCG не судит релевантность сам»: Cohere представила RCP-nDCG@10 — метрику поиска с калиброванным ИИ-судьёй

Что предложила Cohere

30 сентября 2026 года Cohere опубликовала методологию оценки качества поиска и ранжирования под названием RCP-nDCG@10 — Rubric-Calibrated Preferences nDCG@10. Идея в том, чтобы оценивать каждый найденный документ по одной и той же явной рубрике релевантности, одинаковой для любого запроса, с помощью калиброванного ИИ-судьи, вместо опоры только на заранее размеченный набор суждений о релевантности. Компания описывает новую метрику как более точное отражение реального качества корпоративного поиска и прямо говорит, что оптимизировала под неё свои модели следующего поколения.

Публикация состоит из трёх частей: разбор того, почему привычный nDCG перестаёт различать сильные системы, описание устройства RCP-nDCG@10 и отчёт о слепом сравнении метрики с оценками людей. Отдельно Cohere выложила код и данные метода в открытом репозитории и сопроводила работу статьёй с описанием методологии.

Почему nDCG перестало хватать

В корпоративном поиске качество модели принято сравнивать набором офлайн-метрик — Recall@k, Mean Reciprocal Rank (MRR) и Normalized Discounted Cumulative Gain (nDCG@k), и каждая ловит свой аспект. Recall@10 показывает, сколько релевантного материала попало в первую десятку, но не обращает внимания на порядок: результат на первом месте для него равен результату на десятом. MRR измеряет, насколько высоко стоит первый релевантный результат, и игнорирует всё, что идёт после него, поэтому годится для случаев, где достаточно одного верного ответа вроде FAQ-поиска. nDCG стал стандартом бенчмарков и лидербордов, включая MTEB и BEIR, потому что учитывает и степень релевантности, и позицию документа.

Ограничение nDCG в другом: он не судит релевантность сам, а сравнивает выдачу модели с готовым набором суждений — qrels, который обычно создают люди-асессоры, просматривая подмножество документов, найденных предыдущими поколениями поисковых систем. Исчерпывающе разметить существенно более широкий набор пар «запрос — документ» запредельно дорого, и Cohere называет такой пулинг разумным практическим компромиссом, которым отрасль пользуется до сих пор.

На реальном запросе из ViDoRe v3 — о коде цвета для маркировки азотных баллонов — компания показывает, к чему это приводит: в ключе размечены всего два документа, и лишь один из них попадает в первую пятёрку системы. Документ на третьем месте прямо цитирует нужный ответ, но раз он никогда не оценивался, релевантным он не считается, и итоговый nDCG@5 равен 0,760 — то есть отражает один результат из пяти. Как следствие, растёт разрыв покрытия: более новая модель может найти по-настоящему релевантный документ, которого не было в исходном пуле разметки, и обычная nDCG этого просто не заметит.

Что показала собственная проверка Cohere

Тот же вопрос компания проверила на своём исследовании с 46 аннотаторами, и выводы получились неудобными для классического подхода. Как предсказатель оценки, выставленной человеком, qrel оказывается лишь немного лучше случайности: AUC — мера того, насколько хорошо оценка разделяет два класса, — составляет всего 0,65, тогда как калиброванная оценка релевантности от языковой модели поднимает её до 0,91.

Пропущенная релевантность оказалась главным источником ошибки: среди документов, помеченных бенчмарком как нерелевантные, 28% люди считают полезными, а обратная ошибка встречается заметно реже — лишь 15% документов, помеченных релевантными, не проходят даже базовую проверку на тематичность. Причина — редкость разметки: бенчмарк помечает релевантными только 29% документов, тогда как люди-оценщики называют таковыми 60%. Добавляется субъективность: пары рецензентов, независимо оценивавших один и тот же документ, давали точное совпадение по шкале от 0 до 4 лишь в 42% случаев, а другие исследования при повторной разметке стандартного бенчмарка сообщали о согласии вплоть до 17%. Практическое следствие — потолок: достигнув границ того, что способны выразить метки, бенчмарк перестаёт различать модели.

Как устроена RCP-nDCG@10

RCP-nDCG@10 закрывает разрыв покрытия, сохраняя цель традиционной nDCG по качеству упорядочивания. Вместо опоры на фиксированный размеченный ключ метрика использует калиброванного ИИ-судью, который оценивает каждый найденный документ по рубрике релевантности, поэтому релевантный документ получает кредит, даже если его не было в исходной разметке бенчмарка. Разница формулируется просто: традиционная nDCG оценивает результаты по тому, что было размечено ранее, а RCP-nDCG@10 — по фактической релевантности каждого найденного результата.

Это не просто просьба к языковой модели выставить оценку. Оценка собирается из двух сигналов: судья отвечает на пять вопросов с ответом «да» или «нет» про каждый документ — вопросы разной сложности и одинаковые для всех запросов, — а кроме того, документы сравниваются друг с другом в группах, чтобы оценить, насколько вероятно, что один обойдёт остальные. Калибровка затем объединяет оба сигнала: сравнения задают порядок, а рубрика помещает результат на шкалу, общую для всех запросов. В итоге оценка релевантности означает одно и то же для любого запроса — чего нельзя получить из одиночной оценки, выставленной ИИ-судьёй.

Слепое сравнение с людьми

Чтобы проверить, отражает ли метрика реальную релевантность, Cohere провела слепое исследование: 46 наёмных аннотаторов, у каждого не ниже степени бакалавра в соответствующей области, оценивали первые пять результатов конкурирующих систем по запросам из NanoBEIR, BRIGHT и ViDoRe v3, не видя ни названий систем, ни ранжирований, ни ключа. Каждое очное соперничество разбирали три аннотатора, победителя определяло большинство голосов; всего вердикт получили 289 контестов по 273 запросам.

Там, где RCP-nDCG и традиционная nDCG называли разных победителей, рецензенты в 70% случаев вставали на сторону новой метрики. Заявленная ею уверенность тоже содержательна: чем шире отрыв между двумя системами, тем чаще рецензенты соглашаются, и на самых широких отрывах согласие достигает 97%; при отрыве выше примерно 0,02 согласие составляет 82%, а ниже этой границы оно не лучше подбрасывания монеты. У традиционной nDCG широкий отрыв не помогает: на самых широких отрывах рецензенты соглашаются с ней лишь в 53% случаев.

По всем контестам RCP-nDCG выбрала систему, которую предпочли рецензенты, в 77% случаев против 52% у традиционной nDCG — при этом выборка намеренно перевешивает контесты, где метрики расходятся; там, где они согласны, обе совпадают с людьми в 87% случаев. Источники преимущества разложены по вкладу: кредит релевантным документам, пропущенным ключом, добавил 19 процентных пунктов, оценка степени релевантности каждого документа — ещё 6, причём по отдельности оценка добавляла лишь 3,3 пункта, поскольку могла только перевзвесить уже размеченные документы. Преимущество сохраняется при любой полноте ключа: там, где метрики расходятся, рецензенты поддерживают RCP-nDCG в 64–78% контестов на каждом уровне покрытия.

Что из этого следует

Cohere сообщает, что при разработке пятого поколения моделей Embed и Rerank оптимизировала их именно под RCP-nDCG@10, а не под традиционную nDCG, и честно предупреждает о последствии: такие модели могут выглядеть не сильнейшими, если судить их только по легаси-оценкам. Компания отдельно оговаривает, что цель — не оптимизация под конкретную метрику ради неё самой, а более близкое соответствие тому качеству, которое пользователи действительно испытывают в поиске.

Метрику планируют внести в MTEB. Кеннет Эневольдсен, доцент Орхусского университета и основной сопровождающий Massive Text Embedding Benchmark, на странице публикации называет подход интересным: рубричные суждения языковых моделей заполняют пробелы, а плотная валидация против людей даёт бенчмаркам больше разрешения и позволяет различать модели, которые прежние метрики не разделяли. По данным самой Cohere, презентация метода с командой поисковых моделей пройдёт 8 октября, а компания набирает партнёров в закрытую бету Compass Cloud.