L’intelligence artificielle est en pleine mutation. Alors que l’industrie a longtemps misé sur des modèles de langage toujours plus vastes et gourmands en ressources, une nouvelle tendance émerge : les modèles de langage réduits, plus efficaces et plus accessibles, pourraient bien redéfinir l’avenir de l’IA.
Un modèle de langage, dans son essence, est un système entraîné à identifier les structures statistiques d’un texte. Il analyse un volume important de données pour estimer la probabilité qu’un mot suive un autre, et utilise ces probabilités pour générer du texte cohérent. Les Large Language Models (LLM), ou grands modèles de langage, appliquent ce principe avec une quantité massive de paramètres, leur permettant de s’adapter à une grande variété de sujets et de tâches.
Cependant, cette polyvalence a un coût. La formation et l’exploitation des LLM nécessitent une puissance de calcul considérable et une infrastructure spécialisée. À l’inverse, les Small Language Models (SLM), ou petits modèles de langage, utilisent beaucoup moins de paramètres et se concentrent sur des domaines ou des fonctions spécifiques. Ils sont donc plus légers, plus rapides à déployer et plus faciles à intégrer dans les systèmes existants.
Longtemps, l’idée prévalait que les progrès de l’IA étaient intrinsèquement liés à la création de modèles toujours plus grands, nécessitant des investissements massifs en matériel et une dépendance accrue vis-à-vis des fournisseurs de services cloud. Les SLM remettent en question ce dogme. Ils sont non seulement moins chers et plus efficaces pour des tâches précises, mais ils offrent également aux entreprises une plus grande autonomie, un meilleur contrôle de leurs données et une flexibilité accrue, réduisant ainsi leur dépendance aux géants du cloud.
Les LLM, tels que ChatGPT d’OpenAI, Gemini, Copilot et Claude d’Anthropic, sont le fruit de décennies de recherche en traitement du langage naturel et en apprentissage automatique. Ces systèmes d’apprentissage profond sont entraînés sur des quantités colossales de texte – livres, articles, sites web, codes – et sont capables d’interpréter et de générer du langage naturel dans un large éventail de contextes. Ils reposent sur une architecture de réseau neuronal appelée transformateur, particulièrement performante pour traiter les séquences de mots et identifier les relations entre eux.
La taille est l’un des principaux atouts des LLM. Leurs paramètres internes, qui codent les connaissances acquises, se chiffrent en milliards, voire en billions. Cette échelle et cette complexité architecturale les rendent particulièrement utiles pour les tâches nécessitant une connaissance générale étendue, une compréhension approfondie du contexte ou une gestion flexible de diverses entrées. Ils peuvent rédiger des textes marketing, synthétiser des recherches, écrire du code informatique ou encore tenir des conversations nuancées. Dotés de capacités agentiques, ils peuvent même effectuer des tâches complexes en plusieurs étapes, avec un degré d’autonomie qui nécessitait auparavant une intervention humaine.
Mais cette puissance a un prix. Les LLM exigent des ressources informatiques importantes et sont souvent hébergés dans des infrastructures cloud plutôt que sur des appareils locaux. Leurs coûts opérationnels augmentent rapidement avec l’utilisation.
Les SLM, quant à eux, appliquent les mêmes principes prédictifs que les LLM, mais avec une fraction des paramètres – généralement moins de 10 milliards. Cette réduction n’est pas une limitation, mais un atout. En se concentrant sur des domaines plus restreints et des tâches bien définies, les SLM deviennent plus légers, plus rapides et plus faciles à déployer. De nombreux SLM peuvent fonctionner sur un ordinateur portable, un appareil périphérique ou un serveur local, sans dépendre d’une infrastructure cloud coûteuse. Cette exécution locale offre des avantages en termes de coûts, de performances prévisibles et de contrôle des données.
Le réglage fin d’un LLM peut prendre des semaines et nécessiter des ressources importantes en unités de traitement graphique (GPU). Un SLM peut souvent être ajusté en quelques heures ou jours sur un seul GPU haut de gamme. Des modèles tels que Gemma 2 de Google (2 milliards de paramètres), Phi-3 de Microsoft (3,8 milliards de paramètres), Llama 3.1 (8 milliards de paramètres), Nemotron Nano (9 milliards de paramètres) ou GPT-4o mini d’OpenAI (nombre de paramètres non divulgué) démontrent que des architectures optimisées peuvent surpasser des systèmes beaucoup plus grands sur des tâches spécialisées, de la génération de code aux tests de raisonnement.
Microsoft a récemment présenté Fara-7B, un SLM expérimental conçu pour fonctionner directement sur l’ordinateur d’un utilisateur. Il est décrit comme le premier SLM agentique de l’entreprise conçu spécifiquement pour un fonctionnement local, avec la capacité de contrôler les entrées du système, telles que la souris et le clavier. Fonctionnant sur sept milliards de paramètres, il rivalise avec des systèmes plus grands et plus gourmands en ressources.
Dans de nombreux contextes, un modèle compact est non seulement suffisant, mais souvent préférable, en particulier lorsque les ressources informatiques sont limitées. Les véhicules autonomes ou les satellites, par exemple, fonctionnent dans des environnements contraints en termes de puissance de traitement, de consommation d’énergie et d’accès au réseau. Les grands modèles y seraient tout simplement impraticables.
La formation d’un modèle de classe GPT-4 est estimée à plus de 100 millions de dollars (environ 92 millions d’euros), Gemini Ultra pouvant atteindre 191 millions de dollars (environ 175 millions d’euros). Même l’adaptation des LLM à des domaines spécifiques peut nécessiter des dizaines de milliers de dollars en temps GPU. En comparaison, les SLM peuvent souvent être formés et perfectionnés pour quelques milliers de dollars seulement.
L’écart de coûts est encore plus frappant en matière d’inférence. GPT-4 coûte environ 0,03 $ (environ 0,03 €) pour 1 000 jetons d’entrée et 0,06 $ (environ 0,06 €) pour 1 000 jetons de sortie, soit un coût moyen de 0,09 $ (environ 0,08 €) par requête. Un SLM tel que Mistral-7B coûte environ 0,0001 $ (environ 0,00009 €) pour 1 000 jetons d’entrée et 0,0003 $ (environ 0,00027 €) pour 1 000 jetons de sortie, soit 0,0004 $ (environ 0,00036 €) par requête – une réduction d’un facteur 225.
À grande échelle, sur des millions de requêtes, cet écart de coûts a un impact significatif sur les coûts d’exploitation et la rentabilité.
Les SLM ouvrent l’accès à des cas d’utilisation qui seraient autrement hors de portée. Les écoles, les organisations à but non lucratif et les petites entreprises peuvent les déployer pour des tâches ciblées sans faire face à des coûts prohibitifs. Des modèles tels que Phi-3 de Microsoft sont déjà utilisés pour soutenir des plateformes d’informations agricoles en Inde, fournissant des conseils aux agriculteurs même dans les régions où la connectivité est limitée.
Cependant, l’efficacité des SLM s’accompagne de compromis. Leur taille réduite limite leur capacité à généraliser à des tâches peu familières ou mal définies, et ils peuvent avoir des difficultés lorsque les problèmes nécessitent des connaissances approfondies ou un raisonnement complexe. Ils peuvent également hériter de biais de leurs données de formation.
L’industrie de l’IA a longtemps misé sur l’échelle, partant du principe que des modèles toujours plus grands et une puissance de calcul toujours plus importante détermineraient un avantage à long terme. Les SLM remettent en question cette stratégie. Selon un récent rapport de NVIDIA Research, « les petits modèles de langage sont l’avenir de l’IA agentique ». L’entreprise estime que de nombreuses applications basées sur des agents peuvent être exécutées par des SLM sans perte d’efficacité, réduisant potentiellement les coûts jusqu’à 20 fois.
Malgré leurs avantages, l’adoption des SLM a été plus lente que prévu. Des années d’investissements massifs ont enfermé les organisations dans une infrastructure centrée sur les LLM, et les références du secteur continuent de récompenser l’échelle. L’écosystème reste donc façonné par de grands systèmes basés sur le cloud.
NVIDIA préconise une approche hybride, dans laquelle les SLM gèrent les charges de travail étroites et répétitives et les LLM sont réservés aux tâches nécessitant un raisonnement large ou une interaction ouverte. Au fil du temps, les systèmes efficaces seront moins définis par l’échelle que par la précision avec laquelle chaque modèle est déployé.