Comment les biais peuvent s’infiltrer dans les algorithmes et les données de soins de santé

Cette histoire a été initialement publiée dans notre numéro de juillet/août 2022 sous le titre “Ghosts in the Machine”. Cliquez ici abonnez-vous pour lire plus d’histoires comme celle-ci.

Si une crise cardiaque n’est pas documentée, s’est-elle vraiment produite ? Pour un programme d’intelligence artificielle, la réponse peut très bien être “non”. Chaque année, on estime 170 000 personnes aux États-Unis subir des crises cardiaques asymptomatiques ou “silencieuses”. Au cours de ces événements, les patients n’ont probablement aucune idée qu’un blocage empêche le sang de circuler ou que des tissus vitaux meurent. Ils ne ressentiront aucune douleur thoracique, étourdissements ou difficultés respiratoires. Ils ne deviennent pas rouge betterave ou ne s’effondrent pas. Au lieu de cela, ils peuvent simplement se sentir un peu fatigués ou ne présenter aucun symptôme. Mais même si le patient ne se rend pas compte de ce qui s’est passé, les dommages sous-jacents peuvent être graves et durables : les personnes qui souffrent de crises cardiaques silencieuses courent un risque plus élevé de maladie coronarienne et d’accident vasculaire cérébral et sont plus susceptibles de mourir dans les 10 années suivantes.

Mais si un médecin ne diagnostique pas cette attaque, elle ne sera pas incluse dans les dossiers de santé électroniques du patient. Cette omission peut avoir des conséquences dangereuses. Les systèmes d’IA sont formés sur les dossiers de santé, passant au crible des trésors de données pour étudier comment les médecins ont traité les anciens patients et faire des prédictions qui peuvent éclairer les décisions concernant les soins futurs. “C’est ce qui rend beaucoup d’IA médicale très difficiles”, explique Ziad Obermeyer, professeur agrégé à l’Université de Californie à Berkeley, qui étudie l’apprentissage automatique, la médecine et les politiques de santé. “Nous n’observons presque jamais la chose qui nous tient vraiment à cœur.”

En savoir plus sur l’IA en médecine :

Le problème réside dans les données – ou plutôt, ce qui n’est pas dans les données. Les dossiers de santé électroniques ne montrent que ce que les médecins et les infirmières remarquent. S’ils ne peuvent pas voir un problème, même aussi grave qu’une crise cardiaque, l’IA ne pourra pas le voir non plus. De même, les médecins peuvent involontairement encoder leurs propres préjugés raciaux, sexistes ou socioéconomiques dans le système. Cela peut conduire à des algorithmes qui donnent la priorité à certaines données démographiques par rapport à d’autres, enracinent les inégalités et ne tiennent pas la promesse que l’IA peut aider à fournir de meilleurs soins.

L’un de ces problèmes est que les dossiers médicaux ne peuvent stocker que des informations sur les patients qui ont accès au système médical et peuvent se permettre de consulter un médecin. “Les ensembles de données qui ne représentent pas suffisamment certains groupes – qu’il s’agisse de groupes raciaux, de sexe pour certaines maladies ou de maladies rares elles-mêmes – peuvent produire des algorithmes biaisés contre ces groupes”, déclare Curtis Langlotz, radiologue et directeur du Center for Artificial Intelligence. en médecine et imagerie à l’Université de Stanford.

Au-delà de cela, les diagnostics peuvent refléter les idées préconçues et les idées d’un médecin – sur, par exemple, ce qui pourrait être derrière la douleur chronique d’un patient – autant qu’ils reflètent la réalité de ce qui se passe. “Le sale secret de beaucoup d’outils d’intelligence artificielle est que beaucoup de choses qui ressemblent à des variables biologiques que nous prédisons ne sont en fait que l’opinion de quelqu’un”, déclare Obermeyer. Cela signifie qu’au lieu d’aider les médecins à prendre de meilleures décisions, ces outils perpétuent souvent les inégalités mêmes qu’ils devraient aider à éviter.

Décoder les préjugés

Lorsque les scientifiques forment des algorithmes pour faire fonctionner une voiture, ils savent ce qui se passe sur la route. Il n’y a pas de débat quant à savoir s’il y a un panneau d’arrêt, une zone scolaire ou un piéton devant. Mais en médecine, la vérité est souvent mesurée par ce que dit le médecin, et non par ce qui se passe réellement. Une radiographie pulmonaire peut être une preuve de pneumonie parce que c’est ce qu’un médecin a diagnostiqué et écrit dans le dossier de santé, pas parce que c’est nécessairement le bon diagnostic. “Ces procurations sont souvent déformées par des facteurs financiers, raciaux et sexistes, et toutes sortes d’autres choses qui sont de nature sociale”, explique Obermeyer.

Dans un étude 2019, Obermeyer et ses collègues ont examiné un algorithme développé par la société de services de santé Optum. Les hôpitaux utilisent des algorithmes similaires pour prédire quels patients auront le plus besoin de soins, en estimant les besoins de plus de 200 millions de personnes par an. Mais il n’y a pas de variable simple pour déterminer qui va tomber le plus malade. Au lieu de prédire les besoins de santé concrets, l’algorithme d’Optum a prédit quels patients étaient susceptibles de coûter plus cher, la logique étant que les personnes les plus malades ont besoin de plus de soins et seront donc plus chères à traiter. Pour diverses raisons, notamment le revenu, l’accès aux soins et le mauvais traitement des médecins, les Noirs dépensent moins en soins de santé en moyenne que leurs homologues blancs. Par conséquent, les auteurs de l’étude ont constaté que l’utilisation du coût comme mesure indirecte de la santé conduisait l’algorithme à sous-estimer systématiquement les besoins de santé des Noirs.

Au lieu de refléter la réalité, l’algorithme imitait et intégrait davantage les préjugés raciaux dans le système de santé. « Comment pouvons-nous faire en sorte que les algorithmes fassent mieux que nous ? » demande Obermeyer. « Et pas seulement refléter nos préjugés et nos erreurs ?

De plus, déterminer la vérité d’une situation – si un médecin a fait une erreur en raison d’un manque de jugement, de racisme ou de sexisme, ou si un médecin a juste eu de la chance – n’est pas toujours clair, dit Rayid Ghani, professeur en apprentissage automatique. département de l’Université Carnegie Mellon. Si un médecin fait un test et découvre qu’un patient est diabétique, a-t-il fait du bon travail ? Oui, ils ont diagnostiqué la maladie. Mais peut-être auraient-ils dû tester le patient plus tôt ou traiter sa glycémie en hausse il y a des mois, avant que le diabète ne se développe.

Si ce même test était négatif, le calcul devient encore plus difficile. Le médecin aurait-il dû ordonner ce test en premier lieu, ou était-ce un gaspillage de ressources ? “Vous ne pouvez mesurer un diagnostic tardif que si un diagnostic précoce n’a pas eu lieu”, explique Ghani. Les décisions concernant les tests à effectuer (ou les plaintes des patients à prendre au sérieux) finissent souvent par refléter les préjugés des cliniciens plutôt que le meilleur traitement médical possible. Mais si les dossiers médicaux encodent ces préjugés comme des faits, alors ces préjugés seront reproduits dans les systèmes d’IA qui en tireront des enseignements, quelle que soit la qualité de la technologie.

“Si l’IA utilise les mêmes données pour s’entraîner, elle aura certains de ces biais inhérents”, ajoute Ghani, “non pas parce que c’est ce qu’est l’IA, mais parce que c’est ce que sont les humains, malheureusement.”

Lutter contre les inégalités

Cependant, si elle est utilisée délibérément, cette faille de l’IA pourrait être un outil puissant, explique Kadija Ferryman, anthropologue à l’Université Johns Hopkins qui étudie les préjugés en médecine. Elle pointe un étude 2020 dans lequel l’IA est utilisée comme une ressource pour évaluer ce que les données montrent : une sorte de diagnostic pour évaluer les biais. Si un algorithme est moins précis pour les femmes et les personnes bénéficiant d’une assurance publique, par exemple, c’est une indication que les soins ne sont pas fournis de manière équitable. “Au lieu que l’IA soit la fin, l’IA est presque en quelque sorte le point de départ pour nous aider à vraiment comprendre les préjugés dans les espaces cliniques”, dit-elle.

Dans un Étude 2021 en médecine de la nature, les chercheurs ont décrit un algorithme qu’ils ont développé pour examiner les préjugés raciaux dans le diagnostic de la douleur arthritique au genou. Historiquement, les patients noirs et à faible revenu ont été beaucoup moins susceptibles d’être recommandés pour une intervention chirurgicale, même s’ils signalent souvent des niveaux de douleur beaucoup plus élevés que les patients blancs. Les médecins attribueraient ce phénomène à des facteurs psychologiques comme le stress ou l’isolement social, plutôt qu’à des causes physiologiques. Ainsi, au lieu de s’appuyer sur les diagnostics des radiologues pour prédire la gravité de la douleur au genou d’un patient, les chercheurs ont formé l’IA avec un ensemble de données comprenant des radiographies du genou et les descriptions du patient de son propre inconfort.

Non seulement l’IA a prédit qui ressentait la douleur avec plus de précision que les médecins, mais elle a également montré que la douleur des patients noirs n’était pas psychosomatique. Au lieu de cela, l’IA a révélé que le problème résidait dans ce à quoi les radiologues pensent que les genoux malades devraient ressembler. Parce que notre compréhension de l’arthrite est enracinée dans des recherches menées presque exclusivement sur une population blanche, les médecins peuvent ne pas reconnaître les caractéristiques des genoux malades qui sont plus répandues chez les patients noirs.

Il est beaucoup plus difficile de concevoir des systèmes d’IA, comme l’algorithme de la douleur au genou, qui peuvent corriger ou vérifier les préjugés des médecins, au lieu de simplement les imiter – et cela nécessitera beaucoup plus de surveillance et de tests qu’il n’en existe actuellement. Mais Obermeyer note que, à certains égards, la correction des biais dans l’IA peut se produire beaucoup plus rapidement que la correction des biais dans nos systèmes – et en nous-mêmes – qui ont contribué à créer ces problèmes en premier lieu.

Et la construction d’IA qui tiennent compte des biais pourrait être une étape prometteuse pour résoudre des problèmes systémiques plus importants. Pour changer le fonctionnement d’une machine, après tout, il vous suffit de quelques frappes au clavier ; changer la façon dont les gens pensent prend beaucoup plus que cela.

La révolution ratée d’IBM

En 2011, l’ordinateur Watson d’IBM a anéanti ses concurrents humains dans le jeu-questionnaire Jeopardy!. Ken Jennings, le joueur le mieux rémunéré de tous les temps, a perdu plus de 50 000 $. “Pour ma part, je souhaite la bienvenue à nos nouveaux seigneurs de l’informatique”, a-t-il écrit sur sa carte-réponse lors du dernier tour.

Mais le règne de Watson fut de courte durée. L’une des premières – et des plus médiatisées – tentatives d’utilisation de l’intelligence artificielle dans les soins de santé, Watson est aujourd’hui l’un des plus gros échecs de l’IA médicale. IBM a dépensé des milliards pour créer un vaste référentiel d’informations sur les patients, de réclamations d’assurance et d’images médicales. Watson Health pourrait (prétendument) piller cette base de données pour suggérer de nouveaux traitements, associer des patients à des essais cliniques et découvrir de nouveaux médicaments.

Malgré l’impressionnante base de données de Watson et toutes les fanfaronnades d’IBM, les médecins se sont plaints qu’il faisait rarement des recommandations utiles. L’IA n’a pas tenu compte des différences régionales dans les populations de patients, l’accès aux soins ou les protocoles de traitement. Par exemple, parce que ses données sur le cancer provenaient exclusivement d’un hôpital, Watson for Oncology reflétait simplement les préférences et les préjugés des médecins qui y exerçaient.

En janvier 2022, IBM a finalement démantelé Watson, vendant ses données et analyses les plus précieuses à la société d’investissement Francisco Partners. Cette chute n’a pas dissuadé d’autres géants des données comme Google et Amazon de faire la promotion de leurs propres IA, des systèmes prometteurs qui peuvent tout faire, de la transcription de notes à la prédiction de l’insuffisance rénale. Pour les grandes entreprises technologiques qui expérimentent l’IA médicale, le médecin propulsé par la machine est toujours très “in”.