Quatre modèles linguistiques d’intelligence artificielle évaluent des manuscrits ophtalmologiques, détectant 81,7 % des erreurs insérées. Cette analyse de performance, publiée dans Cureus, met en lumière le potentiel et les limites de l’automatisation de la relecture scientifique.
L’utilisation de l’intelligence artificielle générative s’étend à la rédaction et à l’évaluation éditoriale de la littérature scientifique. Une recherche parue dans le journal Cureus évalue quatre grands modèles de langage comme des dispositifs de contrôle de cohérence automatisés sur quarante articles d’ophtalmologie.
Quatre intelligences artificielles testées sur des manuscrits d’ophtalmologie
Pour mesurer l’efficacité de ces technologies, les auteurs de l’étude ont introduit des erreurs préméditées dans trente des quarante articles sélectionnés, qui affichaient tous un facteur d’impact supérieur à 3,0. Dix manuscrits ont quant à eux été conservés sans modification pour servir de témoins.
Chaque texte a ensuite été examiné de manière indépendante par Claude Sonnet 5 High Effort, GPT-5.6 High Effort, GPT-5.5 Instant et Gemini 3.1 Pro à l’aide d’une consigne identique.
Sur 120 évaluations menées au total sur les textes manipulés, l’analyse démontre la découverte de 98 erreurs insérées, soit un taux global de sensibilité de 81,7 %. Les performances varient toutefois de manière notable selon le modèle mobilisé.
- GPT-5.6 High Effort atteint un taux de détection de 96,7 %, avec 29 anomalies repérées sur 30.
- Claude Sonnet 5 High Effort identifie 27 erreurs sur 30, soit 90,0 %.
- Gemini 3.1 Pro relève 23 cas sur 30, atteignant 76,7 %.
- GPT-5.5 Instant arrive en retrait avec 19 détections sur 30, soit 63,3 %.
Une analyse statistique par le test de Cochran et des comparaisons par paires de McNemar avec correction de Holm montrent des écarts significatifs. Le modèle GPT-5.6 et Claude Sonnet 5 surclassent ainsi nettement la version GPT-5.5. Selon la nature des erreurs, les algorithmes se montrent plus habiles face aux discordances de taille d’échantillon, repérées dans 90,0 % des cas, que face aux défectuosités statistiques, détectées à 72,5 %.
Les défauts d’origine traqués par les algorithmes
Au-delà des pièges volontairement semés, les intelligences artificielles ont passé au crible les manuscrits pour y déceler des défauts d’origine. Les chercheurs ont ainsi vérifié 355 signalements supplémentaires formulés par les modèles à travers l’ensemble des quarante documents.
L’examen manuel de ces drapeaux d’alerte confirme que 94,9 % d’entre eux correspondent à des incohérences authentiques et préexistantes. Après fusion des doublons, cela représente 158 anomalies uniques. GPT-5.6 se distingue en isolant un nombre plus élevé de ces défauts par rapport à Claude Sonnet 5. Les dix publications laissées intactes ont elles aussi révélé des défaillances, puisque 97,5 % des signaux émis par les machines sur ces textes particuliers se sont avérés fondés, avec un taux minime de faux positifs de 2,5 %.
La principale limite ne réside pas dans l’interprétation des données, mais dans leur repérage systématique. Une fois qu’une incohérence était reconnue, la localisation et la correction étaient presque universellement exactes. En revanche, certaines erreurs insérées ont été manquées malgré le fait que les modèles avaient identifié d’autres incohérences authentiques au sein du même manuscrit
, relèvent les auteurs, indiquant que la détection initiale demeure l’obstacle technique à franchir.
Des textes humains supérieurs aux productions de l’intelligence artificielle
Dans un autre volet méthodologique exploré dans le domaine de l’écriture technique en ophtalmologie, la comparaison s’élargit à six plateformes populaires interrogées via des comptes gratuits de démonstration, incluant des versions de ChatGPT, Gemini, DeepSeek, Grok, Microsoft Copilot et OpenEvidence. Les résultats démontrent que les textes rédigés par des humains surpassent systématiquement les productions textuelles de l’intelligence artificielle en matière de rigueur médicale, de profondeur et d’organisation.
Les chercheurs en ophtalmologie ont indiqué dans Cureus que les citations « complètes » ont été définies comme exactes et incluaient toutes les parties d’une citation (auteur, titre, revue, volume et page/DOI), tandis que les citations « incomplètes » ont été définies comme manquant d’une ou de plusieurs portions de la citation
.
Les agents conversationnels actuels ne sauraient se substituer à l’expertise humaine pour rédiger ex nihilo des articles de surspécialité médicale. Leur usage s’envisage plutôt comme un filtre additionnel de contrôle de qualité et de relecture préalable à la soumission aux revues.