«Больше 80 экспертов из 22 стран»: OpenAI выпустила открытый бенчмарк MentalHealthBench

Что объявили

OpenAI объясняет мотив так: люди приходят к ИИ с самыми разными разговорами — разобраться в сложных отношениях, пережить повседневный стресс, поддержать близкого человека или решить трудную ситуацию; такие разговоры требуют точности, практического суждения и уважения к самостоятельности человека. По данным компании, ChatGPT каждую неделю используют больше миллиарда человек, поэтому исследование сосредоточено на том, чтобы модели отвечали в этих темах с осторожностью и ставили безопасность и благополучие человека на первое место.

MentalHealthBench задуман как открытый бенчмарк для измерения того, как ИИ ведёт себя в реалистичных разговорах о психическом здоровье — не только в кризисных сценариях. Он оценивает четыре ключевых для этой сферы поведения: безопасность, стремление выяснить контекст, сохранение самостоятельности пользователя и уместные практические рекомендации. Набор выпущен открыто, чтобы другие исследователи могли изучить методику, провести собственные оценки и продолжить работу.

Официальный аккаунт OpenAI в X в тот же день написал, что бенчмарк показывает, как фронтирные модели продолжают улучшаться в реалистичных разговорах о психическом здоровье. Там же сказано, что набор собирали при участии более 80 специалистов по психическому здоровью, — в самой публикации речь о более чем 80 лицензированных психологах и психиатрах из 22 стран, говорящих на 19 языках.

Поводом стала нехватка подходящих измерений: большинство прежних оценок ИИ в этой области сосредоточивались на экстренных сценариях и на широких заранее заданных критериях, из-за чего оставалось неясным, как модели ведут себя во всём диапазоне разговоров о психическом здоровье и насколько их ответы совпадают с рекомендациями экспертов.

Синтетические разговоры вместо реальных

Разговоры о благополучии, жизненных советах и психическом здоровье сильно различаются по теме, срочности и культурному контексту, поэтому набор собирали так, чтобы охватить эту широту и разные типы пользователей. С помощью методов, сохраняющих приватность, OpenAI создала синтетические разговоры, повторяющие реальные паттерны использования ИИ в этой области.

В наборе — сценарии с участием взрослых, подростков, тех, кто ухаживает за близкими, и клиницистов, на нескольких языках и в разных регионах. Разговоры покрывают три уровня остроты: неострые повседневные ситуации, высокую остроту без немедленной угрозы и случаи с признаками психиатрического кризиса или прямой угрозы безопасности, где нужна срочная поддержка в реальном мире.

В часть сценариев добавлена фоновая информация о синтетическом пользователе — например, недавняя потеря в семье, — чтобы проверить, использует ли модель этот контекст при ответе. Для подростковых персонажей в системном сообщении явно указано, что пользователю от 13 до 17 лет: такой подход рассчитан на работу у разных провайдеров, хотя и может не учитывать все защитные механизмы конкретных продуктов, а сами разговоры дополнительно проверяли клиницисты по психическому здоровью молодёжи.

Как считают оценки

Рубрики писали более 80 лицензированных психологов и психиатров из 22 стран, говорящих на 19 языках и представляющих почти 20 узких специализаций. Эксперты читали каждый синтетический разговор и составляли подробный список критериев, по которым оценивается ответ модели на последнее сообщение пользователя.

Каждый критерий касается одного аспекта ответа — задан ли правильный вопрос, дан ли лучший возможный совет — и имеет вес от минус 10 до плюс 10: положительные баллы поощряют полезное поведение, отрицательные наказывают вредное, а больший вес означает большую клиническую значимость в контексте именно этого разговора.

Каждый разговор просматривали минимум три эксперта, и в итоговые рубрики попали только критерии, с которыми согласились как минимум двое и против которых не возразил третий. Поэтому оценки в наборе отражают общее суждение экспертов о том, каким должен быть ответ модели в каждой ситуации.

Сверяет ответы с этими критериями автоматический оценщик — GPT‑5.6 Sol, а подробности процесса оценки и настроек описаны в отдельной работе. Итоговый балл показывает, продемонстрировал ли ответ все идеальные поведения, которые эксперты определили для сценария, и избежал ли нежелательных.

Работа опирается на предыдущие клинические проекты OpenAI — HealthBench и HealthBench Professional. HealthBench, например, строили вместе с 262 врачами, практиковавшими в 60 странах; он включает 5 000 реалистичных медицинских разговоров и 48 562 уникальных критерия оценки.

Что показали результаты

По сообщению OpenAI, результаты MentalHealthBench показывают устойчивое улучшение ИИ в помощи людям в ситуациях, связанных с психическим здоровьем.

Общий балл раскладывается на десять измерений поведения, определённых экспертами, поэтому модели с близкими итоговыми оценками могут различаться по сильным сторонам. Видно, в частности, что способность уместно выяснять контекст растёт с более совершенными моделями.

Одна из причин, по которой набор покрывает разную остроту разговоров, — необходимость отдельно видеть, как модель работает в повседневных ситуациях и как — там, где нужна срочная поддержка в реальном мире.

OpenAI при этом подчёркивает, что ChatGPT не заменяет терапию или профессиональную помощь. Смысл экспертных ориентиров в другом: измерять прогресс и держать планку так, чтобы модели отвечали с эмпатией, поддерживали благополучие и направляли человека к реальной поддержке — к локальным кризисным линиям или к тому, кому он доверяет.

Взгляд пользователей против взгляда экспертов

Параллельно OpenAI провела отдельный анализ, чтобы сравнить, что рекомендуют эксперты и что люди считают полезным: вопрос был в том, не могут ли высоко оценённые экспертами ответы казаться пользователям холодными.

В исследовании участвовали 44 взрослых, которые использовали ИИ для психического здоровья или эмоциональной поддержки; они представляли 16 стран и 14 языков. Они оценивали ответы на синтетические разговоры и формулировали собственные критерии полезной поддержки, но только в неострых сценариях — чтобы не подвергать участников потенциально тяжёлому материалу.

Разница оказалась в акцентах: взгляд пользователей высветил качества, которые люди ценят в поддержке ИИ и которым прежде уделялось меньше внимания, а эксперты сильнее настаивали на сборе релевантного контекста и аккуратной интерпретации неоднозначных ситуаций. Итоговые критерии оценки бенчмарка остались основаны на консенсусе экспертов — этот анализ их не менял.

Что это меняет

MentalHealthBench позиционируется как общий инструмент для экспертов, исследователей и разработчиков, чтобы оценивать полезную и безопасную поддержку в разных сценариях, а не только отсутствие запрещённых ответов.

OpenAI сопровождает работу и другими инициативами: поддерживает усилия в области ИИ и психического здоровья, включая гранты на новые исследования, обсуждения с Partnership on AI и помощь независимым оценкам вроде проекта Transluce по психическому здоровью. Отдельно компания напоминает о том, что уже сделано: усиленные ответы ChatGPT в чувствительных разговорах, расширенный доступ к кризисным ресурсам, функция Trusted Contact и ChatGPT для подростков с дополнительными защитами.

«Ни один бенчмарк не охватывает всё, что важно в личном разговоре, но мы надеемся, что MentalHealthBench помогает поднять планку того, как ИИ поддерживает людей», — говорится в публикации.