Utilisé comme chatbot médical, GPT-3 conseille à un patient de se suicider

Le modèle de traitement de langage naturel GPT-3 est certes révolutionnaire, mais il ne sera probablement pas très utile dans le domaine médical. Lors d’un test effectué par l’entreprise française Nabla, il a été jusqu’à conseiller à un patient de mettre fin à ses jours…

Tester les compétences de GPT-3 en tant que chatbot médical

Dévoilé par OpenAI au mois de juillet, puis désormais exclusif à Microsoft, GPT-3 est considéré comme le modèle de langage le plus puissant jamais élaboré. Sa spécificité : il prédit les mots à utiliser selon le contexte, de la même manière que lorsque vous rédigez un courriel avec Gmail. Il est utile dans plusieurs domaines comme les chatbots, les questions/réponses ou encore la traduction. La firme Nabla a ainsi voulu tester ses capacités en tant que chatbot médical, malgré les contre-indications d’OpenAI. Selon l’organisation, la santé « se situe dans la catégorie des enjeux élevés car les gens se fient à des informations médicales précises pour prendre des décisions de vie ou de mort, et des erreurs dans ce domaine pourraient entraîner de graves préjudice ».

« Malgré cela, nous avons voulu essayer de voir comment il se comporte dans les cas d’utilisation des soins de santé suivants, classés approximativement de faible à forte sensibilité d’un point de vue médical : discussion administrative avec un patient, vérification de l’assurance médicale, soutien en matière de santé mentale, documentation médicale, questions et réponses médicales et diagnostic médical », écrit Nabla dans un billet de blog.

GPT-3 ne sera jamais médecin…

L’entreprise a essayé plusieurs cas de figure, et une chose est sûre : GPT-3 a été loin de faire ses preuves dans le domaine de la santé. En plus d’avoir conseillé à un (faux) patient de se suicider, il a également demandé à une personne présentant les symptômes d’une embolie pulmonaire de regarder une vidéo sur YouTube pour apprendre à s’étirer. L’IA a en outre échoué lors de la prise de rendez-vous d’un patient, en ne se remémorant pas l’horaire souhaitée par ce dernier. Pour ce qui est des dosages médicamenteux, GPT-3 « n’est pas prêt pour être utilisé en toute sécurité comme un outil de soutien pour les médecins », note Nabla.

Ces réactions ne sont toutefois pas surprenantes : si GPT-3 est un outil extrêmement puissant pouvant répondre à quasiment toutes les situations, il n’a pas été entraîné spécifiquement pour le secteur médical qui est très exigeant et nécessite un jargon très précis. Le ton employé par son interlocuteur peut également influencer sa manière de s’exprimer, lui faisant dire des choses différentes et parfois contraires. S’il est loin d’être prêt pour la médecine qui n’est, on le rappelle, pas son domaine de prédilection, GPT-3 est récent et donc faillible. Il devrait s’améliorer très rapidement avec le temps.

Il s’est par ailleurs illustré sur Reddit, lorsqu’il a abordé le sujet très mystérieux des Illuminati… Bien qu’il présente quelques lacunes, l’utilisation de GPT-3 inquiète, notamment en interne chez OpenAI.