Искусственные интеллектуальные чат-боты дают «опасные» медицинские советы, предупреждает исследование Оксфордского университета

Кратко

• Исследование Оксфордского университета указывает на то, что чатботы на базе ИИ дают опасные медицинские советы пользователям.
• В то время как чатботы показывают высокие результаты на стандартизированных тестах по медицинским знаниям, в личных сценариях они терпят неудачу, выяснили исследователи.
• Исследователи обнаружили, что большие языковые модели (БЯМ) не лучше традиционных методов при принятии медицинских решений.

Чатботы на базе ИИ борются за статус следующего крупного прорыва в здравоохранении, успешно проходят стандартизированные тесты и дают советы по вашим медицинским проблемам. Но новое исследование, опубликованное в Nature Medicine, показало, что они не только далеки от этого, но могут быть и опасными. Исследование, проведённое несколькими командами из Оксфордского университета, выявило заметный разрыв в возможностях больших языковых моделей (БЯМ). Несмотря на их техническую продвинутость в области медицинских знаний, они оказались неэффективными при помощи пользователям с личными медицинскими проблемами, установили исследователи. «Несмотря на всю шумиху, ИИ просто не готов взять на себя роль врача», — заявил в пресс-релизе, объявляющем результаты, ведущий медицинский специалист исследования, доктор Ребекка Пейн. Она добавила, что «пациенты должны знать, что спрашивать у большой языковой модели о своих симптомах опасно, так как это может привести к неправильным диагнозам и неспособности распознать необходимость срочной помощи». В исследовании приняли участие 1300 человек, использовавших модели ИИ от OpenAI, Meta и Cohere для определения состояния здоровья. Они рассмотрели серию сценариев, разработанных врачами, и просили ИИ подсказать, что делать дальше для решения медицинской проблемы.

 Результаты показали, что их эффективность не превосходит традиционных методов самодиагностики, таких как простое онлайн-исследование или личное суждение. Также было обнаружено, что у пользователей возникла проблема с пониманием, какую именно информацию должна предоставить БЯМ для точных советов. Пользователи получали как хорошие, так и плохие рекомендации, что затрудняло определение дальнейших шагов. Decrypt обратился к OpenAI, Meta и Cohere за комментариями и обновит эту статью, если получит ответ.

«Как врач, я знаю, что постановка правильного диагноза — это гораздо больше, чем просто запоминание фактов. Медицина — это искусство и наука одновременно. Важны слушание, выяснение, уточнение, проверка понимания и руководство разговором», — сказала Пейн в интервью Decrypt. «Врачи активно выясняют релевантные симптомы, потому что пациенты часто не знают, какие детали важны», — объяснила она, добавив, что исследование показало, что БЯМ «ещё не способны надежно управлять этой динамической взаимодействием с непрофессионалами». Команда пришла к выводу, что ИИ пока не подходит для предоставления медицинских советов, и необходимы новые системы оценки, чтобы его можно было правильно использовать в здравоохранении. Однако это не означает, что у него нет места в медицинской сфере. Хотя БЯМ «определённо имеют роль в здравоохранении», — сказала Пейн, — это должна быть «секретарская роль, а не роль врача». Технология полезна для «подытоживания и переработки уже предоставленной информации», и БЯМ уже используют в клиниках для «транскрипции консультаций и преобразования этой информации в письмо специалисту, информационный лист для пациента или для медицинских записей», объяснила она. Команда пришла к выводу, что, хотя они и не против использования ИИ в здравоохранении, надеются, что это исследование поможет лучше направить развитие этой технологии в правильное русло.