L’agence américaine des médicaments (FDA) doit renforcer ses exigences d’évaluation pour les logiciels médicaux intégrant l’intelligence artificielle (IA), non seulement en matière de sécurité, mais aussi d’efficacité et d’équité. Des études récentes soulignent des lacunes dans les processus d’approbation actuels, appelant à une approche plus rigoureuse et transparente.
En 2018, IDx-DR, un logiciel de dépistage de la rétinopathie diabétique, est devenu le premier dispositif médical basé sur l’IA à obtenir l’autorisation de la FDA. Ce système permet de détecter un niveau de rétinopathie diabétique supérieur à un stade léger chez les adultes atteints de cette maladie, sans nécessiter l’intervention d’un spécialiste pour interpréter les résultats. La FDA a basé sa décision sur des données de sécurité, mais aussi sur des études prospectives, considérées comme essentielles par les cliniciens pour évaluer l’intérêt d’un dispositif médical. Il est important de noter que IDx-DR a été autorisé comme outil de dépistage, les patients présentant des résultats positifs devant consulter un professionnel de la vue.
Plus récemment, l’algorithme GI Genius de Medtronic, conçu pour aider les endoscopistes à détecter les polypes coliques, a également reçu l’aval de la FDA. L’autorisation s’appuie sur une étude clinique menée en Italie et publiée dans la revue Gastro-entérologie, qui a démontré une augmentation significative du taux de détection des adénomes, y compris les polypes de moins de 5 mm de diamètre. Les chercheurs, dont Repici et ses collègues, ont conclu que « l’intégration du CADe (système de détection assistée par ordinateur) dans les examens de coloscopie augmente la détection des adénomes sans affecter la sécurité ».
Cependant, ces résultats soulèvent des questions légitimes. La pertinence d’une étude menée sur une population italienne pour les États-Unis, où les caractéristiques démographiques diffèrent, est remise en question. De plus, la représentativité des 685 patients inclus dans l’étude par rapport à l’ensemble de la population américaine, notamment en termes de diversité ethnique et socio-économique, est un sujet de préoccupation. L’étude a certes inclus un nombre suffisant de femmes, mais ne fournit aucune information sur la représentation d’autres groupes marginalisés.
Une analyse indépendante réalisée en 2021 par Eric Wu de l’Université de Stanford et ses collaborateurs a confirmé ces inquiétudes. L’étude, portant sur 130 dispositifs médicaux approuvés par la FDA, a révélé que la grande majorité (126 sur 130) avaient été autorisés sur la base d’études rétrospectives. Plus alarmant encore, aucun des 54 dispositifs considérés comme à haut risque n’avait fait l’objet d’essais prospectifs. L’analyse a également mis en évidence d’autres lacunes : 93 des 130 produits n’avaient pas été évalués sur plusieurs sites, 59 ne précisaient pas la taille de l’échantillon testé et seulement 17 concernaient un sous-groupe démographique spécifique.
Face à ces constats, des centres médicaux universitaires de premier plan, dont la Mayo Clinic, envisagent une approche plus globale de l’évaluation des algorithmes d’IA. Ils proposent notamment la mise en place d’un système d’étiquetage standardisé, permettant de documenter les caractéristiques, le comportement, l’efficacité et l’équité des systèmes d’IA. Ce système faciliterait l’évaluation de la portabilité des algorithmes vers différents ensembles de données et fournirait aux parties prenantes les informations nécessaires pour évaluer et adopter ces technologies en toute sécurité.
L’étiquette pourrait inclure des informations détaillées sur le modèle (nom, développeur, date de sortie, version), son utilisation prévue, ses performances (précision, etc.), ainsi que les caractéristiques des données utilisées pour son entraînement et son évaluation.
Bien qu’il ne soit pas question de sacrifier la recherche de la perfection, le cadre réglementaire actuel pour l’évaluation des logiciels médicaux (SaMD) présente des faiblesses. Une combinaison d’un processus d’approbation plus rigoureux de la FDA et de l’expertise des principaux centres médicaux pourrait offrir aux patients le meilleur des deux mondes.
