Этика
OpenAI запускает ChatGPT Health для пользователей из США по мере того, как медицинский ИИ переходит к персональным данным
OpenAI сделал ChatGPT Health доступным для взрослых в США, предоставив связанную с здоровьем информацию в ChatGPT и вызвав новые вопросы о медицинских консультациях, контроле конфиденциальности и клинической ответственности.
Майкл С ·
OpenAI перенесла ChatGPT глубже в сферу здоровья потребителей, запуская ChatGPT Здоровье для пользователей из США старше 18 лет во всех тарифных планах и позволяя людям подключаться личная информация о здоровье чтобы чат-бот мог помочь им понять и ориентироваться в вопросах здоровья. Компания объявила о запуске 23 июля, заявив, что эта функция может использовать данные о здоровье, одобренные пользователем, включая подключенные приложения и данные носимых устройств, предоставляя при этом пользователям инструменты для проверки, обновления и управления тем, что ChatGPT знает. Это запуск продукта, но также и тест управления. Здоровье — это область, где полезный ответ может быстро превратиться в инструкцию с высокой степенью ответственности, и где удобство зависит от того, понимают ли пользователи, какие данные они предоставляют и что система не имеет права решать.
TechCrunch сообщили, что более широкое распространение следует за ранее проведённым тестом специализированного медицинского центра и происходит на фоне того, что использование ChatGPT в медицинских целях увеличилось с 230 миллионов до 300 миллионов еженедельных запросов, согласно данным, которые OpenAI предоставила изданию. В том же отчёте отмечалось, что запуск состоялся на следующий день после того, как пастор из Флориды подал в суд на OpenAI по обвинению в якобы опасной деятельности медицинское предложение. OpenAI не признал претензию, и дело следует рассматривать как утверждение, пока оно не будет проверено в суде. Временные рамки по-прежнему подчеркивают, почему эта категория продуктов привлекает внимание. Когда универсальный помощник становится местом, куда люди обращаются с вопросами о симптомах, лекарствах и решениях по уходу, граница между информацией и советом должна быть ясной.
OpenAI говорит, что функция может подключаться к таким сервисам, как Apple Health, Function, и MyFitnessPal, что дает ассистенту более конкретное представление о деятельности человека, лабораторных анализах, диете и других записях, чем один лишь запрос. Это может сделать ответы более полезными, но также увеличивает риск недопонимания. Чат-бот, который знает показатели покоя сердечного ритма пользователя, тенденции сна или лабораторные маркеры, может звучать убедительнее, чем обычный результат поиска. Поэтому продукт должен делать больше, чем просто отвечать. Он должен указывать на ограничения данных, спрашивать, когда информации не хватает, и низко ставить порог для того, чтобы советовать пользователям обратиться к врачу.
The privacy вопрос отделен от вопроса о медицинском качестве. Пользователь может согласиться на подключение медицинских данных, потому что это упрощает разговор, но согласие имеет смысл только в том случае, если элементы управления понятны и обратимы. OpenAI утверждает, что Health в ChatGPT создан с учетом конфиденциальности, безопасности и контроля, и говорит, что пользователи могут управлять соответствующими медицинскими данными. Настоящим испытанием будет то, смогут ли люди определить, какая информация повлияла на ответ, смогут ли удалить устаревшие или неверные данные, и будут ли чувствительные записи изолированы от несвязанных персонализированных функций продукта или процессов улучшения модели.
Клиницисты также рассмотрят процесс запуска через историю регулирования цифрового здравоохранения. В Соединённых Штатах, HIPAA регулирует деятельность защищённых субъектов и деловых партнёров, а не каждого потребительского приложения для здоровья или общего технологического сервиса. С Федеральная торговая комиссия отдельно применяет правила, касающиеся обмена данными приложений для здоровья и уведомления о нарушениях. Это разделение важно, потому что потребитель может предположить, что все данные о здоровье получают одинаковую правовую защиту, как только они становятся медицинскими по своей природе. На практике защита зависит от сервиса, характера отношений и способа сбора и использования данных.
Самым сильным аргументом в пользу ChatGPT Health является доступ. Люди уже ищут симптомы, сравнивают результаты анализов и пытаются понять запутанные выписки. Разговорная система, которая может читать предоставленный пользователем контекст и объяснять его простым языком, может снизить трения и помочь пациентам задавать лучшие вопросы. Она также может помочь ухаживающим лицам организовать информацию, разбросанную по различным порталам и приложениям. Это реальные преимущества, особенно для пользователей, которым трудно ориентироваться в системах здравоохранения.
Риск заключается в чрезмерной уверенности. The Клиника Майо и другие медицинские учреждения регулярно предупреждают пациентов о том, что информация в интернете не должна заменять профессиональную медицинскую помощь. ИИ делает это предупреждение труднее реализуемым на практике, потому что он может дать прямой, персонализированный ответ спокойным голосом. Следовательно, медицинский помощник должен сохранять неопределённость в самой формулировке ответа. Не следует прятать предупреждение внизу страницы или полагаться на одноразовое заявление об отказе от ответственности.
Запуск также меняет нагрузку на проектирование продукта. При обычном использовании ChatGPT пользователь может понимать, что система помогает с написанием текстов, исследованием или планированием. В области здравоохранения та же чат-платформа может содержать описание симптомов, данные с носимого устройства, результаты лабораторных анализов и вопрос, который звучит как обычный, но несет медицинский риск. Ответ должен замедлять пользователя, когда ситуация этого требует. Это означает выявление признаков экстренных ситуаций, уточнение недостающего контекста и превращение передачи дела к профессиональному медицинскому обслуживанию в часть ответа, а не в юридический отказ от ответственности.
Собственная структура OpenAI ставит контроль в руки пользователя, но пользовательский контроль — это не просто один переключатель. Он включает в себя знание того, что было подключено, что запомнено, что можно удалить и черпает ли помощник информацию из текущей записи или из того, что пользователь сказал несколько недель назад. Медицинская информация быстро устаревает. Лекарство меняется, результат анализа становится недействительным, диагноз снимается или носимое устройство фиксирует искаженную неделю из-за болезни пользователя. Полезный помощник должен уметь различать долговременный контекст здоровья и временные сигналы.
Существует также вопрос клинического рабочего процесса. Если ChatGPT Health станет местом, где пользователи готовятся к приёмам, подводят итоги симптомов и организуют записи, врачи могут начать получать пациентов, подготовленных лучше. Они также могут начать получать сводки, подготовленные ИИ, которые скрывают неопределённость или подчёркивают неправильные детали. Это может сэкономить время или создать дополнительную работу, в зависимости от того, насколько прозрачно помощник показывает, что он сделал вывод, а что просто повторил. Продукт, ориентированный на пациента, всё равно может повлиять на день клинициста, даже если сам клиницист никогда в него не входит.
Компания выходит на рынок, где доверие строится медленно. Цифровые медицинские продукты часто привлекают внимание удобством и теряют его из-за неясных практик работы с данными, ненадежных рекомендаций или преувеличенных заявлений. OpenAI имеет преимущество, поскольку многие люди уже знают, как использовать ChatGPT. У него также есть недостаток, потому что широкая компетенция ChatGPT может заставить пользователей забыть, что здоровье не ограничивается одной областью. Дерматология, безопасность приема лекарств, психическое здоровье, управление хроническими заболеваниями, беременность и экстренная триажа — все это имеет разные стандарты доказательности и пороги риска.
Тщательная реализация будет рассматривать эскалацию как основную функцию. Ассистент должен уметь говорить, что вопрос выходит за рамки его роли, что определенный симптомный паттерн требует срочной оценки, или что значение лабораторного показателя невозможно интерпретировать без учета возраста, пола, лекарств, истории болезни и клинического контекста. Он также должен уметь объяснять, почему задает уточняющие вопросы. Этот вид трения может сделать продукт менее «волшебным», но именно он отделяет помощника по здоровью от машины уверенных догадок.
Контекст страхования и работодателя также будет иметь значение. OpenAI запускается для потребителей в США, а не объявляет о продукте страховой или корпоративной выгоды в этом выпуске. Тем не менее, пользователи естественно будут спрашивать, может ли информация о здоровье, связанная с общим помощником, когда-либо влиять на страхование, рекламу, трудоустройство или другие решения. Самый безопасный ответ для любого продукта в этой категории — это не только обещание в политике. Это пользовательский опыт, который четко демонстрирует границы и позволяет людям проверять их перед подключением чувствительных источников.
Широкая индустрия ИИ будет наблюдать за этим запуском, потому что здоровье является тестом доверия для ассистентов, специализированных по конкретной области. Если OpenAI сможет сделать разговоры о здоровье более организованными, не скатившись при этом к небезопасным советам, модель может быть расширена на другие регулируемые или частично регулируемые области. Если же с этим возникнут трудности, регуляторы и конкуренты будут воспринимать это как доказательство того, что общие ассистенты нуждаются в более строгих ограничениях, прежде чем им позволят принимать решения с последствиями. Следовательно, ставки выходят за рамки одной страницы функций.
Для пользователей практический подход является консервативным. Подключайте только ту информацию, которая действительно улучшает использование, проверяйте элементы управления перед тем, как полагаться на помощника, и рассматривайте ответы как подготовку к медицинским разговорам, а не как их замену. Продукт все еще может быть ценным при соблюдении этого стандарта. Хорошему медицинскому помощнику не обязательно ставить диагноз. Он может помочь человеку объяснить симптомы, перечислить лекарства, понять документы, сравнить вопросы для врача и заметить, когда у него недостаточно информации для принятия решения.
OpenAI также придется управлять тем, как функция ведет себя, когда пользователи запрашивают уверенность в том, чего медицина предоставить не может. Многие вопросы о здоровье носят вероятностный характер. Симптом может иметь несколько причин. Нормальное значение может быть обнадеживающим в одном контексте и неполным в другом. Чатбот, обученный быть полезным, может быть склонен упорядочить неопределенность в чистый ответ. В здравоохранении чистые ответы могут вводить в заблуждение, если они устраняют ту неопределенность, которая должна стимулировать следующий вопрос или следующий визит к врачу.
Слой подключенного приложения обостряет эту проблему, потому что числа обладают авторитетом. Количество шагов, тенденция уровня глюкозы, оценка сна, изменение веса или результат анализа могут выглядеть объективно, но им всё равно требуется интерпретация. Устройства могут ошибаться, давать неполные данные или измерять косвенные показатели. Люди могут менять свои привычки по причинам, которые данные не фиксируют. Поэтому помощник по здоровью должен объяснять, что число может и чего не может показать. Он не должен воспринимать каждый график как клинический сигнал.
Использование семьи станет ещё одной точкой давления. Опекуны часто помогают родителям, детям, супругам и родственникам разбираться с медицинскими документами. Личный ассистент, который может организовать записи, может быть полезен в таких ситуациях, но совместный уход создаёт проблемы с согласием. Аккаунт одного человека может содержать информацию другого. В заметках могут быть детали, которые пациент не собирался широко раскрывать. Контроль OpenAI должен быть достаточно ясным для обычных домохозяйств, а не только для специалистов по вопросам конфиденциальности.
Запуск также проверяет, как OpenAI обрабатывает исправления. В здравоохранении исправленный ответ — это не только лучший ответ. Это запись того, что изменилось. Если система обновит своё понимание состояния пользователя, пользователь должен увидеть этот сдвиг и знать, будут ли будущие ответы зависеть от новой информации. Тихое изменение контекста может быть удобно в инструменте для письма. В медицинских разговорах молчаливые изменения контекста могут создавать путаницу.
Компания может снизить риск, делая неопределённость ассистента видимой на обычном языке. Вместо того чтобы говорить только о том, что пользователи должны обратиться к профессионалу, она может указать, какие части ответа являются общей образовательной информацией, какие части зависят от подключённых данных пользователя, а какие части требуют клинического суждения. Такой уровень ясности не является препятствием для использования. Напротив, это причина, по которой функция здоровья может вызывать доверие у людей, которым нужна помощь, но которые не хотят, чтобы чат-бот притворялся врачом.
Для OpenAI этот запуск расширяет более широкий подход к специализированным опытам ChatGPT. Здравоохранение — это крупный потребительский рынок, но он менее снисходителен, чем помощь в написании текстов или планирование путешествий. Компания может сделать функцию полезной только в том случае, если она будет рассматривать медицинский контекст как свидетельство, требующее осторожного обращения, а не как средство улучшения подсказки. Первый вопрос для пользователей прост: помогает ли им ассистент лучше понимать своё здоровье, при этом ясно показывая, когда следующий шаг должен быть выполнен профессионалом. Если ответ «да», ChatGPT Health может стать практичным входом к личной медицинской информации. Если нет, это станет ещё одним примером продукта ИИ, который входит в чувствительную область быстрее, чем можно заслужить доверие.
Темы: OpenAI, ChatGPT Здоровье, медицинский ИИ, конфиденциальность