3 ℃
Эксперты предупредили о рисках использования функции здоровья в ChatGPT после того, как исследование показало: система нередко не распознаёт медицинские экстренные ситуации и может недооценивать угрозу для жизни. Об этом сообщает The Guardian.
Функцию Health компания OpenAI запустила в январе для ограниченной аудитории. Она позволяет пользователям подключать медицинские записи и приложения для получения рекомендаций по здоровью. По оценкам, ежедневно более 40 млн человек обращаются к ChatGPT за подобными советами.
Первую независимую оценку безопасности опубликовал журнал Nature Medicine. Исследование показало, что система более чем в половине случаев занижала срочность помощи — то есть не рекомендовала обращаться в больницу, когда это было необходимо.
Ведущий автор работы, врач Ашвин Рамасвами, отметил, что исследователи проверяли базовый вопрос безопасности: посоветует ли сервис ехать в отделение неотложной помощи при реальной угрозе.
Команда смоделировала 60 реалистичных клинических сценариев — от лёгких заболеваний до экстренных состояний. Независимые врачи определили нужный уровень помощи, после чего исследователи получили почти тысячу ответов ChatGPT Health и сравнили рекомендации.
Сервис хорошо справлялся с очевидными экстренными случаями, такими как инсульт или тяжёлая аллергическая реакция, однако допускал ошибки в менее однозначных ситуациях. Например, при сценарии астмы система предлагала подождать, несмотря на признаки дыхательной недостаточности.
В 51,6% ситуаций, когда требовалась срочная госпитализация, платформа советовала остаться дома или записаться на обычный приём. Исследовательница из University College London Алекс Руани назвала такие результаты «невероятно опасными», подчеркнув риск ложного чувства безопасности.
По её словам, в симуляциях задыхающейся женщине в большинстве случаев предлагали будущий приём вместо срочной помощи, а часть полностью здоровых людей, наоборот, получала рекомендации немедленно обратиться к врачу. Также система чаще занижала серьёзность симптомов, если в сценарии упоминалось мнение знакомого, что «ничего страшного нет».
Исследователи считают, что это подтверждает необходимость чётких стандартов безопасности и независимого аудита медицинских ИИ-сервисов.
В OpenAI заявили, что приветствуют независимые исследования, но считают, что работа не отражает реальное использование функции, а сама модель постоянно обновляется.
Отдельную обеспокоенность вызвала реакция системы на суицидальные мысли. По словам Рамасвами, при добавлении нейтральных лабораторных результатов предупреждения о кризисной помощи исчезали, хотя описание состояния пациента не менялось.
Профессор Пол Хенман из University of Queensland назвал исследование важным и отметил, что подобные инструменты могут одновременно увеличивать число лишних обращений к врачам и приводить к пропуску действительно срочных случаев, что потенциально способно вызвать вред и даже привести к смерти. Он также указал на возможные юридические риски для технологических компаний.
