Confiance excessive dans les chatbots génératifs  : l’indépendance du médecin est-elle en péril  ?

Le décès d’un enfant de 28 mois, survenu parce que le médecin s’est uniquement fié aux données de l’appareil mesurant l’oxygène dans le sang, sans vérifier si l’enfant respirait effecti­vement,¹ illustre de manière particulièrement dramatique les dangers d’une confiance déjà excessive dans les technologies médicales automatisées.

À l’image de ChatGPT ou d’autres interfaces commerciales, un chatbot génératif est un assistant conversationnel utilisant ce qu’on appelle de «  grands modèles de langage  » (LLM). Ce concept de LLM vise à mettre l’accent sur la rupture entre les chatbots dits déterministes, très utilisés dans les services clients sur la base d’un scénario figé de questions-réponses, et les chatbots génératifs, qui peuvent produire des résultats plus fins et plus variés à partir d’une même demande.

L’adoption d’une solution d’intelligence artificielle (IA) requiert un certain degré de confiance de la part de son utilisateur. Mais en médecine, cette confiance peut devenir excessive lorsqu’elle se substitue à toute prise de recul réflexive lors de la prise de décision. À cet égard, la préservation de l’indépendance du médecin nécessite, d’une part, de connaître les points de vigilance mis en exergue par les institutions et, d’autre part, d’adopter des mesures concrètes pour réguler l’excès de confiance du médecin dans le chatbot génératif.

Plus de la moitié des professionnels de santé ont déjà intégré l’IA à leur pratique quotidienne, et l’histoire ne fait que commencer.² Son développement en médecine offre un soutien diagnostique incontestable au médecin mais exige un haut niveau de sécurité et de prudence. L’Académie nationale de médecine rappelle que les résultats produits par les systèmes d’IA peuvent être erronés, malgré les tests effectués, et souligne que la fréquence élevée de réponses pertinentes entraîne le risque d’une perte de vigilance vis-à-vis des erreurs possibles de l’outil.³ La menace d’une dérive est réelle si l’on en juge par l’influence des chatbots dans certains domaines tels que le droit, en particulier sur les décisions des magistrats.⁴ L’appel à la vigilance se retrouve dans le règlement européen sur l’IA, qui mentionne «  une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IA  ».⁵ Les lignes directrices édictées par l’Organisation mondiale de la santé abondent dans le même sens.⁶ Dans cette perspective, l’Académie nationale de médecine recommande de préserver le temps consacré au colloque singulier entre le patient et le soignant, tandis que le Conseil national de l’ordre des médecins rappelle que la décision médicale doit être partagée non pas avec la machine mais avec le patient. Le colloque singulier doit se dérouler en face à face, en présence du visage d’autrui qui est, par essence, irréductible et réfractaire à tout «  remplacement par la technologie  ».⁷ L’indépendance professionnelle, mentionnée à onze reprises dans les dispositions du code de déontologie médicale, demeure un repère incontournable pour guider l’intuition clinique et préserver la confiance du patient envers le médecin. Or, le maintien de ce pilier de la déontologie médicale incombe avant tout aux professionnels de santé, qui ne peuvent se défausser de leurs respon­sabilités en invoquant un défaut dans la conception de l’algorithme. Si les politiques publiques tendent à renforcer la responsabilité des fabricants et des développeurs face à l’opacité des systèmes d’intelligence artificielle, le médecin demeure, en vertu de son autonomie professionnelle, le principal décisionnaire de l’acte médical. À ce titre, il est responsable devant les standards de la pratique et l’obligation de moyens qui en découle. Plus que jamais, les médecins vont devoir apprendre à se méfier d’eux-mêmes.

Contrairement à ce que l’on pourrait croire, le danger ne vient pas tant de ce que le chatbot ne voit pas d’erreurs mais de ce qu’il en détecte trop. La multiplication d’avertissements visuels ou sonores peut finir par émousser la vigilance du praticien qui n’y prête plus attention. De même, l’affichage transparent du raisonnement que le chatbot est censé effectuer risque d’accroître la force persuasive de l’IA et induire le professionnel en erreur.⁸ 

Aussi, afin de prévenir les effets insidieux d’un recours systématique aux chatbots, les médecins pourraient s’entendre pour restreindre leur usage aux situations médicales les plus complexes, marquées par une hésitation susceptible d’engager le patient dans une cascade d’examens médicaux complémentaires non justifiés. Cet usage dérogatoire se justifierait également dans d’autres cas particuliers tels que, par exemple, les situations de vulnérabilité psychique liées à la fatigue ou à un stress intense.

Limiter le recours du médecin à l’IA est une préconisation d’autant plus prudente que la tendance à s’en remettre trop fréquemment aux recommandations d’un système d’aide à la décision affaiblit les compétences professionnelles des médecins, du moins si l’on en croit certaines études récentes.⁹ Or, dans un cercle vicieux, l’érosion des compétences est de nature à aggraver la dépendance à l’outil.

Pour illustrer un usage avisé de recours à l’IA, nous pouvons emprunter l’exemple étudié dans la littérature d’un chatbot qui suggère de réduire la dose d’un médicament administré à un patient traité pour une fibrillation atriale.¹⁰ Ici, le chatbot permet de rationaliser la décision du médecin en détectant une erreur médicamenteuse. Dans ce cas, le médecin peut réorienter son analyse de la situation médicale en tenant compte de l’alerte fournie par l’IA et garder, in fine, la liberté d’envisager une autre solution que celle proposée par le chatbot. C’est en sauvegardant cette marge d’indépendance que le médecin s’assure qu’il n’est pas sujet à un «  biais d’automatisation  », qui désigne le penchant insidieux à faire davantage confiance à l’outil qu’à son propre jugement.

Les chatbots génératifs offrent un appui à la décision médicale et il serait déraisonnable de se priver de leur apport. Mais si une défiance généralisée à l’égard de systèmes d’IA n’est plus aujourd’hui justifiée, il importe d’avoir présents à l’esprit les effets néfastes d’un excès de confiance. Le cas des avocats accusés aujourd’hui d’avoir utilisé une jurisprudence inventée par l’IA¹¹ doit alerter les professionnels de santé et les conduire à adopter des mesures pour préserver leur indépendance. Nous suggérons d’opter pour un recours dérogatoire aux chatbots, dont l’usage serait limité aux cas complexes, seul moyen d’empêcher une confiance excessive due au biais d’automatisation. Cet usage prudent préserve la représentation positive de soi du médecin comme authentique acteur décisionnel et non comme simple auxiliaire d’un outil. Sur un plan éthique, la subordination de l’outil à l’humain permet de mieux respecter les attentes morales du patient dont la singularité ne peut être gérée de façon standardisée par un algorithme.