Relier les neurosciences et les LLM pour des systèmes d’IA efficaces et interprétables

Publié le 26 décembre 2025 14h20. Des chercheurs ont développé un nouveau modèle de langage, le NSLLM, qui s’inspire du fonctionnement du cerveau humain pour améliorer l’efficacité énergétique et la transparence des intelligences artificielles, ouvrant la voie à des applications plus fiables et moins gourmandes en ressources.

• Le NSLLM, basé sur la conversion des données en impulsions neuronales, réduit la consommation d’énergie de près de 20 fois par rapport aux modèles traditionnels comme le GPU A800.
• Cette approche permet une meilleure interprétation du fonctionnement interne des modèles de langage, un atout crucial pour des domaines sensibles comme la santé et la finance.
• Une architecture informatique personnalisée, sans opérations de multiplication matricielle (MatMul), a été conçue pour valider l’efficacité du NSLLM sur une plateforme FPGA.

Les grands modèles de langage (LLM) sont devenus des éléments clés dans la recherche d’une intelligence artificielle générale (AGI). Cependant, leur utilisation croissante engendre des coûts de calcul et de mémoire considérables, limitant leur potentiel à long terme. De plus, le manque de transparence de ces modèles, avec leurs processus de décision opaques, soulève des inquiétudes quant à leur fiabilité et leur équité, notamment dans des secteurs critiques. Le cerveau humain, en comparaison, accomplit des tâches complexes avec une efficacité énergétique remarquable (moins de 20 watts) et une transparence cognitive relative. Cette disparité a motivé le développement du NSLLM, une nouvelle approche qui vise à combler le fossé entre les LLM et la cognition humaine.

L’étude, publiée dans la revue National Science Review, propose un cadre unifié qui transforme les LLM conventionnels en NSLLM grâce à un comptage de pointes entières et une conversion en pointes binaires, intégrant un mécanisme d’attention linéaire basé sur les pointes. Ce faisant, elle établit un lien direct entre les neurosciences et les LLM, permettant l’application d’outils d’analyse neuronale aux modèles de langage. En convertissant les sorties des LLM en représentations de pointes, les chercheurs peuvent désormais analyser le traitement de l’information de manière plus approfondie.

Pour démontrer l’efficacité énergétique de cette approche, l’équipe a mis en œuvre une architecture informatique personnalisée, dépourvue d’opérations MatMul, pour un modèle d’un milliard de paramètres sur une plateforme FPGA. Une stratégie de quantification par couche et une évaluation de la sensibilité hiérarchique ont été utilisées pour optimiser la configuration du modèle, atteignant des performances compétitives avec une quantification à faible nombre de bits. De plus, une technique de sparsification assistée par quantification a été introduite pour remodeler la distribution du potentiel membranaire, réduisant ainsi la fréquence des impulsions et améliorant encore l’efficacité du modèle. Les résultats obtenus sur le FPGA VCK190 montrent une réduction de la consommation d’énergie dynamique à 13,849 W et une augmentation du débit à 161,8 jetons par seconde. Par rapport à un GPU A800, cette approche offre une efficacité énergétique 19,8 fois supérieure, des économies de mémoire 21,3 fois supérieures et un débit d’inférence 2,2 fois plus rapide.

Au-delà de l’efficacité énergétique, le NSLLM améliore également l’interprétabilité des modèles de langage. En transformant le comportement des LLM en représentations neuronales dynamiques, comme des trains d’impulsions, il devient possible d’analyser les propriétés dynamiques des neurones (par exemple, le caractère aléatoire mesuré par l’entropie de Kolmogorov-Sinaï) et leurs caractéristiques de traitement de l’information (par exemple, l’entropie de Shannon et l’information mutuelle). Les résultats expérimentaux indiquent que le modèle code l’information plus efficacement lors du traitement de textes non ambigus, permettant de distinguer les entrées claires des entrées ambiguës. Par exemple, les couches intermédiaires présentent une information mutuelle normalisée plus élevée pour les phrases ambiguës, tandis que la couche AS affiche des signatures dynamiques distinctes reflétant son rôle dans le traitement des informations clairsemées. La couche FS, quant à elle, présente une entropie de Shannon plus élevée, indiquant une plus grande capacité de transmission d’informations. La corrélation positive entre l’information mutuelle et l’entropie de Shannon suggère que les couches avec une capacité d’information plus élevée sont plus aptes à préserver les caractéristiques clés des données d’entrée.

S’inspirant des recherches en neurosciences qui démontrent l’efficacité des calculs clairsemés et pilotés par les événements dans le cerveau humain, l’équipe a développé un cadre interdisciplinaire qui propose une alternative neuromorphique aux LLM traditionnels. Ce cadre offre des performances comparables aux modèles conventionnels de taille similaire dans des tâches complexes telles que le raisonnement de sens commun, la compréhension de textes, la réponse à des questions basées sur des connaissances du monde et les calculs mathématiques. Cette avancée ouvre de nouvelles perspectives pour la conception de puces neuromorphiques et contribue à l’essor d’une intelligence artificielle plus économe en énergie et plus transparente.