Les chatbots IA donnant des conseils médicaux « dangereux », avertit une étude d'Oxford

En résumé

• Des recherches de l’Université d’Oxford indiquent que les chatbots IA donnent des conseils médicaux dangereux aux utilisateurs.
• Bien que les chatbots obtiennent de bons résultats aux tests standardisés de connaissances médicales, ils échouent dans des scénarios personnels, a révélé l’étude.
• Les chercheurs ont constaté que les modèles de langage de grande taille (LLMs) n’étaient pas meilleurs que les méthodes traditionnelles pour prendre des décisions médicales.

Les chatbots IA cherchent à devenir la prochaine grande innovation dans le domaine de la santé, en réussissant des tests standardisés et en proposant des conseils pour vos problèmes médicaux. Mais une nouvelle étude publiée dans Nature Medicine a montré qu’ils sont non seulement loin de réaliser cela, mais pourraient en fait être dangereux. L’étude, menée par plusieurs équipes de l’Université d’Oxford, a identifié un écart notable dans les modèles de langage de grande taille (LLMs). Bien qu’ils soient techniquement très avancés en compréhension médicale, ils se sont révélés insuffisants lorsqu’il s’agissait d’aider les utilisateurs avec des problèmes médicaux personnels, ont découvert les chercheurs. « Malgré tout le battage médiatique, l’IA n’est tout simplement pas prête à prendre le rôle du médecin », a déclaré la Dr Rebecca Payne, praticienne principale de l’étude, dans un communiqué annonçant ses résultats. Elle a ajouté que « les patients doivent être conscients que demander à un modèle de langage de grande taille à propos de leurs symptômes peut être dangereux, en donnant de mauvais diagnostics et en ne reconnaissant pas quand une aide urgente est nécessaire ». L’étude a impliqué 1 300 participants utilisant des modèles IA de OpenAI, Meta et Cohere pour identifier des conditions de santé. Ils ont présenté une série de scénarios élaborés par des médecins, demandant au système IA de leur indiquer la marche à suivre pour traiter leur problème médical.

L’étude a révélé que ses résultats n’étaient pas meilleurs que les méthodes traditionnelles d’auto-diagnostic, telles que la recherche en ligne ou même le jugement personnel. Ils ont également constaté qu’il existait une déconnexion chez les utilisateurs, incertains des informations dont le LLM avait besoin pour fournir des conseils précis. Les utilisateurs recevaient une combinaison de conseils bons et mauvais, rendant difficile l’identification des prochaines étapes. Decrypt a contacté OpenAI, Meta et Cohere pour obtenir des commentaires, et mettra à jour cet article si une réponse est reçue.

« En tant que médecin, il y a bien plus que simplement se souvenir de faits pour poser le bon diagnostic. La médecine est un art autant qu’une science. Écouter, sonder, clarifier, vérifier la compréhension et guider la conversation sont essentiels », a déclaré Payne à Decrypt. « Les médecins sollicitent activement les symptômes pertinents parce que les patients ne savent souvent pas quels détails sont importants », a-t-elle expliqué, ajoutant que l’étude montrait que les LLM « ne sont pas encore capables de gérer de manière fiable cette interaction dynamique avec des non-experts ». L’équipe a conclu que l’IA n’est tout simplement pas adaptée pour donner des conseils médicaux pour le moment, et que de nouveaux systèmes d’évaluation sont nécessaires si elle doit un jour être utilisée correctement dans le domaine de la santé. Cependant, cela ne signifie pas qu’elle n’a pas sa place dans le secteur médical tel qu’il est aujourd’hui. Alors que les LLM « ont indéniablement un rôle à jouer dans la santé », a déclaré Payne, cela devrait être en tant que « secrétaire, pas médecin ». La technologie présente des avantages en termes de « résumé et reformulation des informations déjà fournies », avec des LLM déjà utilisés en consultation pour « transcrire les consultations et reformuler ces informations sous forme de lettre à un spécialiste, de fiche d’information pour le patient ou pour les dossiers médicaux », a-t-elle expliqué. L’équipe a conclu que, bien qu’ils ne soient pas opposés à l’IA dans la santé, ils espèrent que cette étude pourra contribuer à mieux orienter son développement dans la bonne direction.