Publié le 2024-02-29 10:00:00. Une nouvelle étude révèle que les intelligences artificielles de pointe ne stockent pas les informations et le raisonnement de la même manière que l’on pensait, ouvrant la voie à des systèmes plus sûrs, plus fiables et moins coûteux.
- Les IA séparent le stockage des informations de la capacité à résoudre des problèmes.
- Une technique d’élagage basée sur la courbure permet de réduire la mémorisation excessive sans formation supplémentaire.
- Cette découverte pourrait contribuer à limiter les biais et les fuites d’informations dans les modèles d’IA.
Contrairement aux hypothèses courantes, les grands modèles d’intelligence artificielle, dont ceux similaires à ChatGPT, ne concentrent pas la mémoire et les capacités de raisonnement dans les mêmes zones de leur structure interne. C’est la conclusion d’une récente recherche menée par Goodfire.ai. L’étude démontre que ces fonctions sont en réalité réparties dans différents composants, chacun ayant un rôle spécifique.
Les chercheurs ont utilisé une méthode mathématique appelée K-FAC (Kernel Fisher Information Approximation) pour analyser les matrices de poids au sein des modèles d’IA. Leurs analyses ont mis en évidence que les “voies” à faible courbure sont responsables de la conservation et de la récupération des informations, tandis que les “voies” à forte courbure gèrent la flexibilité de la pensée et la résolution de problèmes inédits.
Pour valider cette théorie, l’équipe de Goodfire.ai a délibérément désactivé les composants associés à la mémoire (ceux à faible courbure). Ils ont constaté que l’IA conservait sa capacité à raisonner logiquement, mais perdait en précision lors de calculs ou de la restitution de faits précis. Cette expérience confirme donc la séparation des fonctions au sein du modèle.
L’étude met également en avant une méthode innovante, baptisée « élagage basé sur la courbure ». Cette technique permet de réduire la tendance des IA à mémoriser excessivement des données, sans nécessiter de nouvelles phases d’apprentissage supervisé. Selon les chercheurs, elle pourrait également contribuer à atténuer les risques de fuites d’informations sensibles ou de contenus biaisés, tout en améliorant l’efficacité et en réduisant les coûts d’exploitation des modèles. L’objectif final est de favoriser le développement de systèmes d’IA plus sécurisés et plus transparents.
À lire aussi
