Publié le 7 décembre 2025 à 14h05. Les grands modèles de langage (LLM) ne sont pas des raisonneurs fiables, avertit le directeur technique de Microsoft Azure, Mark Russinovich, soulignant la nécessité d’une approche prudente et de mesures de sécurité renforcées lors de leur utilisation.
- Les LLM peuvent facilement « oublier » des informations fournies, même récemment.
- Ils sont susceptibles de produire des contradictions logiques et de s’auto-corriger même lorsqu’ils sont corrects.
- Les améliorations des modèles ne se traduisent pas nécessairement par une amélioration de leurs capacités de raisonnement.
Selon Mark Russinovich, les LLM doivent être considérés comme des moteurs de raisonnement imparfaits et défectueux. Lors d’une conférence de l’Association for Computing Machinery (ACM), il a insisté sur l’importance de mettre en place des garde-fous pour atténuer les risques liés à leur utilisation. « Il s’agit avant tout de traiter [un LLM] comme un moteur de raisonnement défectueux et imparfait, puis en mettant des garde-fous autour du système pour atténuer les risques », a-t-il déclaré Mark Russinovich. Il a ajouté que le niveau d’investissement dans ces garde-fous doit être proportionnel au risque que l’on est prêt à accepter.
Les études suggèrent que les LLM échoueraient à des examens de raisonnement formel et informel de base. Contrairement à une idée reçue, les ordinateurs ne sont pas intrinsèquement des machines logiques, et les LLM ne font pas exception. Ils excellent dans le résumé d’informations, mais leur mémoire est limitée. Par exemple, un LLM peut oublier une information simple, comme la couleur préférée d’une personne, si elle est mentionnée au début d’une longue requête.
Les tests logiques révèlent également des faiblesses. Face à un ensemble de relations logiques, un LLM peut avoir du mal à identifier les contradictions. De plus, les résultats peuvent varier d’une exécution à l’autre, même pour la même requête. M. Russinovich a lui-même constaté ce comportement lors de la vérification de son propre code, où ChatGPT a initialement identifié une erreur de concurrence avant de se rétracter face à une contestation.
Il a également observé que les LLM peuvent affirmer qu’ils ont tort, même lorsqu’ils sont dans le juste. Ils sont programmés pour rechercher des erreurs, même lorsqu’il n’y en a pas. Des recherches menées par Microsoft Research, utilisant le Cadre Eurêka, montrent que les nouveaux modèles ne sont pas toujours plus performants que les précédents en matière de raisonnement.
M. Russinovich a également évoqué le phénomène des « hallucinations provoquées », où l’on donne au modèle une fausse prémisse et on lui demande de la développer, ce qui conduit souvent à des fabrications. Il a conseillé d’adopter un ton plus autoritaire dans les requêtes pour inciter le modèle à acquiescer.
Au fond, les LLM sont probabilistes et non déterministes. Ils ne peuvent donc jamais garantir la vérité absolue. Dans un ensemble d’apprentissage contenant principalement des affirmations correctes, mais incluant une seule affirmation erronée, le LLM peut à un moment donné proposer cette affirmation incorrecte. Cette limitation fondamentale, inhérente à l’architecture basée sur les transformateurs, est selon M. Russinovich, difficilement réparable.
Il a illustré ce problème en racontant comment lui et un collègue ont réussi à amener un LLM à divulguer des informations qu’il ne devrait pas fournir, en décomposant une question sensible en une série de questions plus petites. Il a également constaté que les LLM ne sont pas capables de vérifier leur propre travail de manière fiable. Lorsqu’il a demandé à un LLM de vérifier ses propres références, il a découvert plusieurs erreurs dans les noms d’auteurs et les dates de publication, même après plusieurs vérifications.
Ce problème de références inexistantes est devenu une préoccupation majeure, notamment dans le domaine juridique, comme le souligne Damien Charlotin. Face à cette situation, M. Russinovich a développé un outil appelé vérificateur de référence pour valider les références par rapport à Semantic Scholar.
Pour aller plus loin
