Publié le 28 novembre 2025 à 05h09. Le célèbre chercheur en apprentissage automatique, Ilya Sutskever, remet en question l’avenir des grands modèles de langage (LLM) purs, estimant que la simple augmentation de la puissance de calcul et des données atteint ses limites et qu’il est temps d’explorer de nouvelles approches, notamment des techniques neurosymboliques.
- Ilya Sutskever, cofondateur d’OpenAI, estime que la mise à l’échelle des LLM ne suffira pas à atteindre une intelligence artificielle générale (AGI).
- Il plaide pour l’exploration de techniques alternatives, telles que les approches neurosymboliques et l’intégration de connaissances innées.
- Plusieurs experts, dont Gary Marcus, soulignent que ces conclusions confirment des avertissements émis depuis des années sur les limites des LLM.
Les récentes déclarations d’Ilya Sutskever, figure emblématique de l’apprentissage profond, suscitent un débat au sein de la communauté scientifique. Dans une interview, le chercheur a exprimé son scepticisme quant à la capacité des LLM, basés sur la simple augmentation de la taille des modèles et des ensembles de données, à atteindre une véritable intelligence artificielle. Il estime que ces modèles généralisent de manière significativement moins performante que ce que l’on observe en réalité, soulignant un problème fondamental qui ne peut être résolu par la seule puissance de calcul.
Sutskever se montre ouvert à l’exploration de techniques neurosymboliques, qui combinent les réseaux de neurones avec des représentations symboliques et des règles logiques, ainsi qu’à l’intégration de connaissances innées, c’est-à-dire des informations pré-programmées plutôt qu’apprises à partir des données. Il ne prévoit clairement pas un avenir radieux pour les LLM purs.
Ces propos font écho aux avertissements formulés depuis longtemps par d’autres chercheurs, notamment Gary Marcus, qui avait déjà souligné les limites de l’apprentissage profond dans son article pré-GPT de 2018, intitulé « Deep Learning: A Critical Appraisal ». Marcus plaidait alors pour des approches neurosymboliques afin de compléter les réseaux de neurones et pour l’intégration de connaissances innées, des idées que Sutskever semble désormais embrasser. Il avait également anticipé, dans son évaluation des LLM de 2022, que les lois d’échelle de Kaplan atteindraient un point de rendements décroissants, et que les problèmes d’hallucinations, de vérité, de généralisation et de raisonnement persisteraient même avec des modèles toujours plus grands.
D’autres experts, comme Subbabarao Kambhampati, mettent en évidence les limites de la planification avec les LLM, tandis qu’Emily Bender souligne que l’attention excessive portée à ces modèles détourne l’attention d’autres approches de recherche prometteuses. Des études récentes, comme le document de raisonnement d’Apple, ont mis en évidence les problèmes de généralisation des LLM, et une autre étude, « Is Chain-of-Thought Reasoning a Mirage? A Data Distribution Lens », a porté un coup supplémentaire à la capacité de ces modèles à raisonner et à généraliser.
Alexia Jolicoeur-Martineau, chercheuse en apprentissage automatique chez Samsung, a résumé la situation sur X, suite à la publication de l’interview de Sutskever : [Image de X intégrée ici]
Sutskever a également déclaré :
« Ce qui me semble le plus fondamental, c’est que ces modèles généralisent d’une manière ou d’une autre de manière dramatiquement pire que les gens. Et c’est super évident. Cela semble être une chose très fondamentale. »
L’impact potentiel de ces conclusions est considérable. Si les LLM ne parviennent pas à tenir leurs promesses, les investissements massifs réalisés dans ce domaine pourraient être remis en question. Selon les estimations d’Ed Zitron, les dépenses liées à l’IA ont déjà atteint environ 1 000 milliards de dollars (1 trillion de dollars américains), dont une part importante est consacrée aux puces Nvidia et aux salaires élevés. Selon ses calculs, les géants de la technologie pourraient avoir besoin de 2 000 milliards de dollars de revenus en matière d’IA d’ici 2030 pour justifier leurs investissements.
La situation est d’autant plus préoccupante que l’économie américaine semble de plus en plus dépendante des dépenses liées à l’IA, comme le souligne Rogé Karma dans un récent article de The Atlantic : « L’ensemble de l’économie américaine est soutenu par la promesse de gains de productivité qui semblent très loin de se concrétiser. » Un effondrement de la bulle de l’IA pourrait avoir des conséquences désastreuses, allant d’une récession économique à une crise financière, voire à un renflouement des banques par les contribuables.
La Maison Blanche a d’ailleurs exprimé ses inquiétudes à ce sujet. David Sacks a souligné que les investissements liés à l’IA représentent désormais la moitié de la croissance du PIB, ce qui rend l’économie particulièrement vulnérable.
En fin de compte, la question est de savoir si la communauté de l’apprentissage automatique est prête à remettre en question ses certitudes et à explorer de nouvelles voies. Comme le souligne Sutskever, il est peut-être temps de reconnaître que les LLM ne sont pas la panacée universelle et qu’il est nécessaire d’investir dans des approches plus fondamentales et plus robustes pour atteindre une véritable intelligence artificielle.
[Image intégrée ici]
[Image intégrée ici]
