En médecine, les mises en garde sur les effets involontaires de l’intelligence artificielle sont déjà légendaires.
Il y avait le programme destiné à prédire quand les patients développeraient une septicémie, une infection sanguine mortelle, qui déclenchait une litanie de fausses alarmes. Un autre, destiné à améliorer les soins de suivi des patients les plus malades, semble aggraver les disparités inquiétantes en matière de santé.
Méfiants face à de telles failles, les médecins ont laissé l’IA en marge : aider en tant que scribecomme un deuxième avis occasionnel et comme un organisateur de back-office. Mais ce domaine a gagné en investissements et en élan pour des utilisations en médecine et au-delà.
Au sein de la Food and Drug Administration, qui joue un rôle clé dans l’approbation des nouveaux produits médicaux, l’IA est un sujet brûlant. Cela aide à découvrir de nouveaux médicaments. Cela pourrait identifier des effets secondaires inattendus. Et il est même envisagé comme une aide au personnel submergé par des tâches répétitives et par cœur.
Pourtant, d’une manière cruciale, le rôle de la FDA a fait l’objet de vives critiques : avec quel soin elle examine et décrit les programmes qu’elle approuve pour aider les médecins à tout détecter, des tumeurs aux caillots sanguins en passant par l’effondrement des poumons.
« Nous allons avoir beaucoup de choix. C’est passionnant », a déclaré le Dr Jesse Ehrenfeld, président de l’American Medical Association, l’un des principaux groupes de pression des médecins, dans une interview. “Mais si les médecins veulent intégrer ces éléments dans leur flux de travail, s’ils veulent les payer et s’ils veulent les utiliser, nous devrons avoir une certaine confiance dans le fonctionnement de ces outils.”
Des cabinets de médecins à la Maison Blanche et au Congrès, l’essor de l’IA a suscité des appels à une surveillance accrue. Aucune agence ne gouverne à elle seule l’ensemble du paysage. Le sénateur Chuck Schumer, démocrate de New York et chef de la majorité, a convoqué des dirigeants du secteur technologique à Capitol Hill en septembre pour discuter des moyens de développer ce secteur et également d’identifier les pièges.
Google a déjà attiré l’attention du Congrès avec son projet pilote d’un nouveau chatbot destiné aux agents de santé. Appelé Med-PaLM 2, il est conçu pour répondre à des questions médicales, mais a a soulevé des inquiétudes sur la vie privée des patients et leur consentement éclairé.
La manière dont la FDA supervisera de tels « grands modèles linguistiques », ou programmes qui imitent des conseillers experts, n’est qu’un des domaines dans lesquels l’agence est à la traîne par rapport aux avancées en évolution rapide dans le domaine de l’IA. Les responsables de l’agence ont seulement commencé à parler de revoir une technologie qui continuerait à « apprendre » à mesure qu’elle traite des milliers d’analyses de diagnostic. Et les règles existantes de l’agence encouragent les développeurs à se concentrer sur un problème à la fois – comme un souffle cardiaque ou un anévrisme cérébral – contrairement aux outils d’IA utilisés en Europe qui recherchent toute une série de problèmes.
La portée de l’agence est limitée aux produits dont la vente est approuvée. Il n’a aucune autorité sur les programmes que les systèmes de santé élaborent et utilisent en interne. Les grands systèmes de santé comme Stanford, Mayo Clinic et Duke – ainsi que les assureurs maladie – peuvent créer leurs propres outils d’IA qui affectent les décisions en matière de soins et de couverture pour des milliers de patients, avec peu ou pas de surveillance directe du gouvernement.
Pourtant, les médecins soulèvent davantage de questions alors qu’ils tentent de déployer les quelque 350 outils logiciels autorisés par la FDA pour aider à détecter les caillots, les tumeurs ou un trou dans le poumon. Ils ont trouvé peu de réponses aux questions fondamentales : Comment le programme a-t-il été construit ? Sur combien de personnes a-t-il été testé ? Est-il susceptible d’identifier quelque chose qu’un médecin typique manquerait ?
Le manque d’informations accessibles au public, peut-être paradoxal dans un domaine rempli de données, pousse les médecins à prendre du recul, craignant qu’une technologie qui semble passionnante puisse conduire les patients sur la voie d’un plus grand nombre de biopsies, de factures médicales plus élevées et de médicaments toxiques sans améliorer de manière significative les soins.
Le Dr Eric Topol, auteur d’un livre sur l’IA en médecine, est un optimiste presque imperturbable quant au potentiel de cette technologie. Mais il a déclaré que la FDA avait commis une erreur en autorisant les développeurs d’IA à garder secrète leur « sauce secrète » et en omettant d’exiger des études minutieuses pour évaluer les avantages significatifs.
« Il faut disposer de données vraiment convaincantes et de qualité pour changer la pratique médicale et inspirer la confiance que c’est la voie à suivre », a déclaré le Dr Topol, vice-président exécutif de Scripps Research à San Diego. Au lieu de cela, a-t-il ajouté, la FDA a autorisé des « raccourcis ».
De grandes études commencent à en dire davantage : l’une d’elles a découvert les avantages de l’utilisation de l’IA pour détecter cancer du sein et un autre a mis en évidence les failles d’une application destinée à identifier cancer de la peaua déclaré le Dr Topol.
Le Dr Jeffrey Shuren, chef de la division des dispositifs médicaux de la FDA, a reconnu la nécessité de poursuivre les efforts pour garantir que les programmes d’IA tiennent leurs promesses une fois que sa division les aura approuvés. Bien que les médicaments et certains appareils soient testés sur des patients avant d’être approuvés, il n’en va généralement pas de même pour les logiciels d’IA.
Une nouvelle approche pourrait consister à créer des laboratoires où les développeurs pourraient accéder à de grandes quantités de données et créer ou tester des programmes d’IA, a déclaré le Dr Shuren lors de la conférence de l’Organisation nationale pour les maladies rares le 16 octobre.
« Si nous voulons vraiment garantir ce juste équilibre, nous devrons modifier la loi fédérale, car le cadre en place pour que nous puissions utiliser ces technologies date de près de 50 ans », a déclaré le Dr Shuren. “Il n’a vraiment pas été conçu pour l’IA”
D’autres forces compliquent les efforts visant à adapter l’apprentissage automatique aux grands réseaux hospitaliers et de santé. Les systèmes logiciels ne se parlent pas. Personne n’est d’accord sur qui doit les payer.
D’après une estimation, environ 30 pour cent des radiologues (un domaine dans lequel l’IA a fait de profondes percées) utilisent la technologie de l’IA. Des outils simples qui peuvent améliorer la netteté d’une image sont faciles à vendre. Mais les cas à plus haut risque, comme ceux qui sélectionnent les scanners cérébraux à donner en priorité, inquiètent les médecins s’ils ne savent pas, par exemple, si le programme a été conçu pour détecter les maladies d’un jeune de 19 ans ou d’un jeune de 90 ans. vieux.
Consciente de ces défauts, la Dre Nina Kottler dirige un effort pluriannuel et de plusieurs millions de dollars pour contrôler les programmes d’IA. Elle est médecin-chef de l’IA clinique chez Radiology Partners, un cabinet basé à Los Angeles qui lit environ 50 millions d’analyses par an pour environ 3 200 hôpitaux, salles d’urgence autonomes et centres d’imagerie aux États-Unis.
Elle savait que se lancer dans l’IA serait délicat avec les 3 600 radiologues du cabinet. Après tout, Geoffrey Hinton, connu comme le « parrain de l’IA », a secoué la profession en 2016 lorsque il a prédit que l’apprentissage automatique remplacerait complètement les radiologues.
Le Dr Kottler a déclaré qu’elle avait commencé à évaluer les programmes d’IA approuvés en interrogeant leurs développeurs, puis en avait testé certains pour voir quels programmes manquaient des problèmes relativement évidents ou en identifiaient des plus subtils.
Elle a rejeté un programme approuvé qui ne détectait pas d’anomalies pulmonaires au-delà des cas détectés par ses radiologues – et en a manqué quelques-unes évidentes.
Un autre programme qui scannait des images de la tête à la recherche d’anévrismes, une maladie potentiellement mortelle, s’est révélé impressionnant, a-t-elle déclaré. Bien qu’il ait signalé de nombreux faux positifs, il a détecté environ 24 % de cas de plus que ce que les radiologues avaient identifié. Davantage de personnes présentant un anévrisme cérébral apparent ont reçu des soins de suivi, notamment un homme de 47 ans présentant un vaisseau bombé dans un coin inattendu du cerveau.
À la fin d’un rendez-vous de télésanté en août, le Dr Roy Fagan s’est rendu compte qu’il avait du mal à parler au patient. Soupçonnant un accident vasculaire cérébral, il s’est précipité dans un hôpital de la campagne de Caroline du Nord pour un scanner.
L’image a été envoyée à Greensboro Radiology, un cabinet de Radiology Partners, où elle a déclenché une alerte dans un programme d’IA de triage des AVC. Un radiologue n’avait pas besoin de passer au crible les cas avant celui du Dr Fagan ni de cliquer sur plus de 1 000 tranches d’images ; celui qui a repéré le caillot cérébral est apparu immédiatement.
Le radiologue a transféré le Dr Fagan dans un hôpital plus grand qui pourrait rapidement éliminer le caillot. Il s’est réveillé en se sentant normal.
« Cela ne fonctionne pas toujours aussi bien », a déclaré le Dr Sriyesh Krishnan, de Greensboro Radiology, qui est également directeur du développement de l’innovation chez Radiology Partners. “Mais quand cela fonctionne aussi bien, cela change la vie de ces patients.”
Le Dr Fagan voulait retourner au travail le lundi suivant, mais a accepté de se reposer pendant une semaine. Impressionné par le programme d’IA, il a déclaré : « C’est un véritable progrès de l’avoir ici maintenant. »
Radiology Partners n’a pas publié ses conclusions dans des revues médicales. Certains chercheurs ont cependant mis en évidence des exemples moins inspirants des effets de l’IA en médecine.
Des chercheurs de l’Université du Michigan ont examiné un outil d’IA largement utilisé dans un système de dossiers de santé électroniques destiné à prédire quels patients développeraient une septicémie. Ils trouvé ceci le programme a déclenché des alertes sur un patient sur cinq – bien que seulement 12 pour cent aient développé une septicémie.
Un autre programme qui analysait les coûts de santé comme indicateur pour prédire les besoins médicaux a fini par priver de traitement les patients noirs qui étaient tout aussi malades que les blancs. Les données sur les coûts se sont révélées être un mauvais substitut à la maladie, selon une étude du revueScience trouvé, puisque moins d’argent est généralement dépensé pour les patients noirs.
Ces programmes n’ont pas été approuvés par la FDA. Mais étant donné les incertitudes, les médecins se sont tournés vers les dossiers d’approbation de l’agence pour se rassurer. Ils ont trouvé peu. Une équipe de recherche examinant les programmes d’IA destinés aux patients gravement malades a trouvé des preuves d’une utilisation réelle « totalement absentes » ou basées sur des modèles informatiques. L’équipe de l’Université de Pennsylvanie et de l’Université de Californie du Sud découvert également que certains programmes ont été approuvés sur la base de leurs similitudes avec les dispositifs médicaux existants – y compris certains qui n’utilisaient même pas l’intelligence artificielle.
Une autre étude des programmes approuvés par la FDA jusqu’en 2021 ont révélé que sur 118 outils d’IA, un seul décrivait la répartition géographique et raciale des patients sur lesquels le programme était formé. La majorité des programmes ont été testés sur 500 cas ou moins – ce qui n’est pas suffisant, conclut l’étude, pour justifier leur déploiement à grande échelle.
Le Dr Keith Dreyer, auteur de l’étude et responsable de la science des données au Massachusetts General Hospital, dirige actuellement un projet par l’intermédiaire de l’American College of Radiology pour combler le manque d’informations. Avec l’aide de fournisseurs d’IA disposés à partager des informations, lui et ses collègues planifient publier une mise à jour sur les programmes approuvés par l’agence.
De cette façon, par exemple, les médecins peuvent rechercher le nombre de cas pédiatriques qu’un programme a été conçu pour reconnaître afin de les informer des angles morts susceptibles d’affecter les soins.
James McKinney, porte-parole de la FDA, a déclaré que les membres du personnel de l’agence examinaient des milliers de pages avant d’autoriser les programmes d’IA, mais a reconnu que les fabricants de logiciels pouvaient rédiger les résumés rendus publics. Celles-ci ne sont pas « destinées à prendre des décisions d’achat », a-t-il déclaré, ajoutant que des informations plus détaillées sont fournies sur les étiquettes des produits, qui ne sont pas facilement accessibles au public.
Il est essentiel d’assurer une bonne surveillance de l’IA en médecine, une tâche qui implique plusieurs agences, a déclaré le Dr Ehrenfeld, président de l’AMA. Il a dit que les médecins avaient examiné le rôle de l’IA dans des accidents d’avion mortels pour avertir des dangers des systèmes de sécurité automatisés qui outrepassent le jugement d’un pilote – ou d’un médecin.
Il a déclaré que les enquêtes sur l’accident de l’avion 737 Max avaient montré que les pilotes n’étaient pas formés pour contourner un système de sécurité qui avait contribué aux collisions mortelles. Il craint que les médecins ne soient confrontés à une utilisation similaire de l’IA en arrière-plan des soins aux patients, ce qui pourrait s’avérer dangereux.
“Le simple fait de comprendre que l’IA existe devrait être un point de départ évident”, a déclaré le Dr Ehrenfeld. “Mais il n’est pas sûr que cela se produira toujours si nous ne disposons pas d’un cadre réglementaire approprié.”
