Publié le 22 décembre 2025 13h41:00. Des chercheurs ont mis au point une approche innovante pour améliorer la précision des systèmes de réponse aux questions médicales complexes en combinant intelligemment texte et images, ouvrant la voie à des diagnostics et des traitements plus efficaces.
- L’étude révèle que la conversion d’images en texte est plus efficace pour les modèles d’intelligence artificielle de taille moyenne, tandis que la reconnaissance directe d’images est préférable pour les modèles les plus avancés.
- L’algorithme ColFlor s’est avéré particulièrement performant pour la récupération visuelle, offrant un bon compromis entre précision et coût.
- Les travaux se concentrent sur la glycobiologie, un domaine riche en données visuelles, mais les conclusions pourraient s’appliquer à d’autres disciplines médicales.
La capacité à répondre avec précision à des questions pointues en biomédecine représente un défi majeur pour les chercheurs en intelligence artificielle. Pour y parvenir, ils explorent de nouvelles méthodes de récupération d’informations et d’intégration des connaissances, et s’intéressent de près à l’utilisation des données visuelles. Une équipe internationale de scientifiques a récemment étudié différentes stratégies pour combiner texte et images dans une technique appelée génération multimodale augmentée par récupération (RAG).
Leurs travaux, axés sur la glycobiologie – l’étude des sucres et de leur rôle dans les processus biologiques – démontrent qu’il n’existe pas d’approche unique. Selon la puissance du modèle d’IA utilisé, il est parfois plus judicieux de convertir les figures et les tableaux en descriptions textuelles, tandis que dans d’autres cas, le traitement direct des informations visuelles s’avère plus efficace. L’étude établit une base de référence pour évaluer ces différentes méthodes et identifie ColFlor comme un outil particulièrement prometteur pour la récupération visuelle.
L’équipe de recherche, composée de Primož Kocbek (Université de Maribor), Azra Frkatović-Hodžić et Dora Lalić (Genos Ltd), Vivian Hui (Université polytechnique de Hong Kong), Gordan Lauc (Université de Zagreb et Genos Ltd) et Gregor Štiglic (Université de Maribor et Usher Institute University of Edinburgh), a évalué plusieurs modèles d’IA, allant des plus simples aux plus sophistiqués. Ils ont constaté que les modèles les plus performants sont également les plus coûteux en termes de ressources informatiques. Le choix de la méthode de récupération d’informations a un impact moins important sur les performances et le coût que la taille du modèle lui-même.
L’analyse a révélé que les modèles plus grands génèrent davantage de données et nécessitent plus de temps de calcul. Cependant, en tenant compte du coût par réponse correcte, un équilibre émerge. La combinaison d’un modèle de grande taille et de l’algorithme ColFlor offre systématiquement le meilleur rapport qualité-prix, quel que soit le niveau de difficulté de la question. Cela souligne le compromis inhérent entre précision et coût : une plus grande précision exige un investissement plus important.
Les chercheurs ont construit un référentiel de questions à choix multiples dérivées d’articles scientifiques en glycobiologie, classées en fonction de leur complexité. Ils ont comparé quatre stratégies d’augmentation des données, allant de l’absence d’augmentation à la récupération de texte, en passant par la conversion multimodale et la récupération visuelle à interaction tardive à l’aide de ColPali. Les résultats montrent que l’augmentation textuelle et multimodale surpassent la récupération visuelle directe, atteignant une précision comparable à celle du modèle Gemma-3-27B-IT.
L’utilisation du modèle GPT-4o, encore plus puissant, a permis d’atteindre une précision encore plus élevée avec l’augmentation multimodale, suivie de près par la récupération de texte et ColPali. Des tests supplémentaires avec la famille de modèles GPT-5 ont confirmé ces tendances, ColPali et ColFlor atteignant une précision maximale. Dans cette famille de modèles, ColPali, ColQwen et ColFlor ont affiché des performances statistiquement indiscernables, ColFlor conservant une empreinte informatique plus réduite.
Ces résultats suggèrent que la conversion d’images en texte est plus fiable pour les modèles de taille moyenne, tandis que la récupération directe d’images devient compétitive lorsqu’elle est associée à des modèles de pointe. Cette étude établit une base solide pour le développement de systèmes RAG multimodaux fiables dans des domaines biomédicaux spécialisés, soulignant l’importance d’adapter la complexité du processus d’analyse aux capacités de raisonnement du modèle d’IA utilisé.
Pour en savoir plus, consultez l’article de recherche original sur ArXiv.
Pour aller plus loin
