Publié le 18 décembre 2025 à 21h20. Des chercheurs du MIT ont mis au point une technique innovante permettant d’améliorer considérablement les performances de réseaux neuronaux considérés jusqu’à présent comme inefficaces, ouvrant ainsi de nouvelles perspectives dans le domaine de l’intelligence artificielle.
- Une méthode d’« orientation » permet d’aligner les réseaux neuronaux sur des modèles préexistants, même non entraînés.
- Cette technique s’avère plus efficace que la distillation des connaissances, en particulier lorsque le réseau « enseignant » n’a pas été préalablement formé.
- Les résultats suggèrent que l’échec de certains réseaux neuronaux est souvent dû à une mauvaise initialisation plutôt qu’à des limitations intrinsèques.
Longtemps considérés comme impossibles à optimiser, certains réseaux neuronaux pourraient simplement avoir besoin d’un petit coup de pouce pour révéler leur potentiel. C’est la conclusion d’une équipe de chercheurs du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du Massachusetts Institute of Technology (MIT). Leur nouvelle approche, baptisée « guidage », permet d’améliorer significativement les performances d’architectures auparavant jugées inadaptées aux tâches complexes de l’intelligence artificielle moderne.
L’étude révèle que de nombreux réseaux qualifiés d’« inefficaces » pourraient simplement démarrer avec des paramètres de départ sous-optimaux. Une brève phase d’alignement, ou « guidage », peut les placer dans une configuration plus propice à l’apprentissage. Contrairement aux méthodes traditionnelles, comme la distillation des connaissances, qui cherchent à imiter les résultats d’un réseau déjà entraîné, le guidage transfère directement les connaissances structurelles d’un réseau à un autre. En d’autres termes, le réseau cible apprend comment le réseau guide organise l’information au sein de ses différentes couches, plutôt que de simplement copier son comportement.
« Nous avons été assez surpris par ces résultats », déclare Vighnesh Subramaniam, doctorant au Département de génie électrique et d’informatique (EECS) du MIT et chercheur au CSAIL, auteur principal de l’étude, dont les résultats sont disponibles ici. « Il est impressionnant de constater que nous pouvons utiliser la similarité des représentations pour faire fonctionner ces réseaux traditionnellement considérés comme peu performants. »
Vighnesh Subramaniam, doctorant au MIT et chercheur au CSAIL
Pour déterminer si le guidage devait être continu tout au long de l’apprentissage ou s’il suffisait d’une phase initiale, les chercheurs ont mené une expérience avec des réseaux profonds entièrement connectés (FCN). Avant de s’entraîner sur la tâche cible, le réseau a été exposé à un autre réseau, en utilisant des données aléatoires, un peu comme des étirements avant un exercice physique. Les résultats ont été remarquables : les réseaux, habituellement sujets au surapprentissage, sont restés stables, ont affiché une perte d’entraînement inférieure et ont évité la dégradation des performances typique des FCN standards. Cet alignement initial a agi comme un échauffement bénéfique, démontrant qu’une courte séance de pratique peut avoir des effets durables sans nécessiter un guidage constant.
L’étude a également comparé le guidage à la distillation des connaissances. Lorsque le réseau « enseignant » n’était pas entraîné, la distillation échouait complètement, car les résultats ne contenaient aucun signal pertinent. En revanche, le guidage a continué à produire des améliorations significatives, car il s’appuie sur les représentations internes des réseaux plutôt que sur leurs prédictions finales. Cela souligne un point crucial : même les réseaux non entraînés codent déjà des informations précieuses, des « biais architecturaux » qui peuvent orienter d’autres réseaux vers un apprentissage plus efficace.
Au-delà des résultats expérimentaux, cette découverte a des implications importantes pour notre compréhension de l’architecture des réseaux neuronaux. Les chercheurs suggèrent que le succès – ou l’échec – d’un réseau dépend moins des données spécifiques à une tâche que de sa position dans l’espace des paramètres. En s’alignant sur un réseau guide, il est possible de distinguer les contributions des biais architecturaux de celles des connaissances acquises. Cela permet aux scientifiques d’identifier les caractéristiques de la conception d’un réseau qui favorisent un apprentissage efficace et de déterminer si les difficultés rencontrées sont simplement dues à une mauvaise initialisation.
Le guidage ouvre également de nouvelles voies pour étudier les relations entre les différentes architectures de réseaux. En mesurant la facilité avec laquelle un réseau peut en guider un autre, les chercheurs peuvent sonder les distances entre les conceptions fonctionnelles et réévaluer les théories de l’optimisation des réseaux neuronaux. Comme la méthode repose sur la similarité représentationnelle, elle peut révéler des structures cachées dans la conception des réseaux, aidant ainsi à identifier les composants qui contribuent le plus à l’apprentissage et ceux qui sont moins pertinents.
En fin de compte, ces travaux démontrent que les réseaux considérés comme « non entraînables » ne sont pas intrinsèquement voués à l’échec. Avec un guidage approprié, leurs défauts peuvent être corrigés, le surapprentissage évité et leurs performances alignées sur les normes actuelles. L’équipe du CSAIL prévoit d’explorer les éléments architecturaux les plus responsables de ces améliorations et de déterminer comment ces informations peuvent influencer la conception future des réseaux. En révélant le potentiel caché des réseaux, même les plus difficiles à entraîner, le guidage offre un nouvel outil puissant pour comprendre – et, espérons-le, façonner – les fondements de l’apprentissage automatique.
« On suppose généralement que les différentes architectures de réseaux neuronaux ont des forces et des faiblesses particulières », explique Leyla Isik, professeure adjointe de sciences cognitives à l’Université Johns Hopkins, qui n’a pas participé à la recherche. « Cette recherche passionnante montre qu’un type de réseau peut hériter des avantages d’une autre architecture, sans perdre ses capacités d’origine. De manière remarquable, les auteurs démontrent que cela peut être réalisé en utilisant de petits réseaux de “guides” non entraînés. Cet article présente une manière nouvelle et concrète d’ajouter différents biais inductifs dans les réseaux neuronaux, ce qui est essentiel pour développer une IA plus efficace et plus adaptée aux humains. »
Leyla Isik, professeure adjointe de sciences cognitives à l’Université Johns Hopkins
Vighnesh Subramaniam a rédigé l’article avec ses collègues du CSAIL : Brian Cheung, chercheur ; David Mayo, doctorant (’18, MEng ’19) ; Colin Conwell, associé de recherche ; les chercheurs principaux Boris Katz et Tomaso Poggio, professeur au MIT en sciences du cerveau et des sciences cognitives ; et Andrei Barbu, ancien chercheur du CSAIL. Leurs travaux ont été soutenus, en partie, par le Center for Brains, Minds, and Machines, la National Science Foundation, la MIT CSAIL Machine Learning Applications Initiative, le MIT-IBM Watson AI Lab, la US Defence Advanced Research Projects Agency (DARPA), l’accélérateur d’intelligence artificielle du département américain de l’Air Force et l’Office of Scientific Research de l’US Air Force.
Les résultats de cette étude ont été présentés lors de la conférence et de l’atelier sur les systèmes de traitement de l’information neuronale (NeurIPS).