Chatbot AI Memberikan Nasihat Medis yang 'Berbahaya', Peringatkan Studi Oxford

Singkatnya

• Penelitian dari Universitas Oxford menunjukkan bahwa chatbot AI memberikan nasihat medis berbahaya kepada pengguna.
• Meskipun chatbot mendapatkan skor tinggi dalam tes standar pengetahuan medis, mereka gagal dalam skenario pribadi, menurut penelitian tersebut.
• Para peneliti menemukan bahwa LLM tidak lebih baik dari metode tradisional dalam pengambilan keputusan medis.

Chatbot AI sedang berjuang untuk menjadi hal besar berikutnya dalam layanan kesehatan, meraih nilai tinggi dalam tes standar dan menawarkan saran untuk masalah medis Anda. Tetapi sebuah studi baru yang diterbitkan di Nature Medicine menunjukkan bahwa mereka tidak hanya jauh dari mencapai hal ini, tetapi bahkan bisa berbahaya. Studi tersebut, yang dipimpin oleh beberapa tim dari Universitas Oxford, mengidentifikasi adanya kesenjangan yang mencolok pada model bahasa besar (LLM). Meskipun secara teknis mereka sangat maju dalam pemahaman medis, mereka gagal saat membantu pengguna dengan masalah medis pribadi, menurut para peneliti. “Terlepas dari semua hype, AI belum siap untuk mengambil peran sebagai dokter,” kata Dr. Rebecca Payne, praktisi medis utama dalam studi tersebut, dalam siaran pers yang mengumumkan temuan ini. Dia menambahkan bahwa, “Pasien perlu menyadari bahwa menanyakan model bahasa besar tentang gejala mereka bisa berbahaya, memberikan diagnosis yang salah dan gagal mengenali kapan bantuan mendesak diperlukan.” Studi tersebut melibatkan 1.300 peserta yang menggunakan model AI dari OpenAI, Meta, dan Cohere untuk mengidentifikasi kondisi kesehatan. Mereka menguraikan serangkaian skenario yang dikembangkan oleh dokter, meminta sistem AI untuk memberi tahu apa yang harus dilakukan selanjutnya untuk mengatasi masalah medis mereka.

 Hasil studi menunjukkan bahwa hasilnya tidak lebih baik dari metode diagnosis mandiri tradisional, seperti pencarian online atau bahkan penilaian pribadi. Mereka juga menemukan adanya ketidaksesuaian bagi pengguna, yang tidak yakin informasi apa yang dibutuhkan LLM untuk memberikan nasihat yang akurat. Pengguna diberikan kombinasi nasihat yang baik dan buruk, sehingga sulit menentukan langkah selanjutnya. Decrypt telah menghubungi OpenAI, Meta, dan Cohere untuk mendapatkan komentar, dan akan memperbarui artikel ini jika mereka merespons.

“Sebagai seorang dokter, ada lebih banyak hal yang diperlukan untuk mencapai diagnosis yang tepat daripada sekadar mengingat fakta. Kedokteran adalah seni sekaligus ilmu. Mendengarkan, menyelidiki, memperjelas, memeriksa pemahaman, dan membimbing percakapan adalah hal yang penting,” kata Payne kepada Decrypt. “Dokter secara aktif mengidentifikasi gejala yang relevan karena pasien sering kali tidak tahu detail mana yang penting,” jelasnya, menambahkan bahwa studi tersebut menunjukkan bahwa LLM “belum mampu secara andal mengelola interaksi dinamis tersebut dengan non-ahli.” Tim tersebut menyimpulkan bahwa AI saat ini memang tidak cocok untuk memberikan nasihat medis, dan bahwa sistem penilaian baru diperlukan jika AI ingin digunakan secara tepat dalam layanan kesehatan. Namun, itu tidak berarti mereka tidak memiliki tempat dalam bidang medis saat ini. Meskipun LLM “tentu saja memiliki peran dalam layanan kesehatan,” kata Payne, itu harus sebagai “sekretaris, bukan dokter.” Teknologi ini memiliki manfaat dalam hal “merangkum dan mengemas ulang informasi yang sudah diberikan,” dengan LLM yang sudah digunakan di ruang klinik untuk “menyalin konsultasi dan mengemas ulang informasi tersebut sebagai surat kepada spesialis, lembar informasi untuk pasien, atau untuk catatan medis,” jelasnya. Tim tersebut menyimpulkan bahwa, meskipun mereka tidak menentang AI dalam layanan kesehatan, mereka berharap studi ini dapat digunakan untuk mengarahkan penggunaannya ke arah yang lebih baik.