Publié le 25 octobre 2025 à 00h00. Des chercheurs de l’UC Berkeley démontrent le potentiel de l’intelligence artificielle pour optimiser les algorithmes, en particulier dans le domaine de l’équilibrage de charge pour les grands modèles de langage, avec des gains de performance significatifs.
- L’équipe de l’UC Berkeley a utilisé l’outil OpenEvolve, basé sur la technologie AlphaEvolve de Google DeepMind, pour améliorer un algorithme d’équilibrage de charge.
- Cette optimisation a permis d’accélérer l’algorithme EPLB (Expert Parallelism Load Balancer) de 500 %, crucial pour l’efficacité des modèles de langage.
- Les chercheurs prévoient que l’IA jouera un rôle croissant dans la conception d’algorithmes, permettant aux humains de se concentrer sur la formulation des problèmes et la stratégie.
L’intelligence artificielle s’impose de plus en plus comme un outil puissant pour la découverte et l’optimisation d’algorithmes. Une équipe de 17 informaticiens de l’UC Berkeley a récemment mis en évidence cette tendance en utilisant un modèle d’IA pour surpasser les conceptions humaines traditionnelles dans le domaine de l’équilibrage de charge. Leur travail, décrit dans un article prépublié, s’appuie sur OpenEvolve, une implémentation open source d’AlphaEvolve, développé par Google DeepMind.
L’équipe a ciblé l’algorithme EPLB (Expert Parallelism Load Balancer), un composant essentiel des grands modèles de langage. Cet algorithme est responsable de l’acheminement des « tokens » (unités de texte) vers des modules experts spécialisés, une technique qui permet de réduire le nombre de paramètres traités et d’améliorer l’efficacité globale du modèle. En optimisant EPLB, les chercheurs ont réussi à accélérer son fonctionnement de 500 %.
Selon les auteurs, cette approche, qu’ils appellent recherche sur les systèmes basée sur l’IA (ADRS), pourrait transformer la manière dont les algorithmes sont conçus et améliorés. L’ADRS repose sur un processus itératif où un modèle d’IA génère, évalue et affine des solutions de manière autonome.
« Alors que l’IA joue un rôle central dans la conception d’algorithmes, nous affirmons que les chercheurs humains se concentreront de plus en plus sur la formulation des problèmes et l’orientation stratégique »,
Auteurs de l’étude, UC Berkeley
Cette avancée s’inscrit dans une tendance plus large. En mai dernier, Google avait présenté AlphaEvolve, un « agent de codage évolutif » capable d’améliorer l’efficacité de l’orchestration des centres de données, d’optimiser les opérations de multiplication matricielle et d’affiner l’implémentation de son noyau FlashAttention dans les modèles d’IA basés sur l’architecture Transformer.
Parallèlement, des chercheurs de Google DeepMind ont publié dans la revue Nature une étude décrivant une méthode autonome pour découvrir des règles d’apprentissage par renforcement uniquement grâce à l’expérience de plusieurs générations d’agents interagissant avec divers environnements. Bien que les approches automatisées n’aient pas encore surpassé les systèmes d’apprentissage par renforcement conçus par des humains, ces travaux soulignent le potentiel de l’IA dans la découverte algorithmique.
Dans le cas de l’UC Berkeley, l’équipe a utilisé OpenEvolve pour améliorer l’équilibrage de charge sur les GPU gérant l’inférence des grands modèles de langage. Ils ont pris comme point de départ l’implémentation open source EPLB de DeepSeek, qu’ils ont jugée lente en raison de son code Python et de sa recherche linéaire du GPU optimal. Cette version initiale mettait environ 540 millisecondes pour rééquilibrer les modules experts sur les GPU. Une implémentation non publique d’un laboratoire de recherche non identifié atteignait déjà 19,6 ms.
Grâce à une combinaison de 80 % de Gemini 2.5 Flash et de 20 % de Gemini 2.5 Flash Lite, OpenEvolve a proposé une approche plus efficace en remplaçant les boucles par des opérations tensorielles vectorisées et en implémentant un schéma de partitionnement en zigzag. Le résultat : une durée d’exécution de seulement 3,7 ms, soit une accélération de 500 % par rapport à l’implémentation de référence non divulguée et une accélération de 146x par rapport à l’implémentation de DeepSeek. Le coût de cette optimisation s’est élevé à moins de 10 $ et a nécessité cinq heures de calcul.
Audrey Cheng, doctorante à l’UC Berkeley et co-auteure de l’étude, nuance cependant l’idée d’une « créativité » de l’IA.
« Je pense qu’une façon de voir les choses est de réfléchir à la manière dont les humains trouvent leurs idées aujourd’hui. En tant que chercheurs, nous savons que nous « nous tenons sur les épaules de géants ». Ce n’est qu’en comprenant profondément les idées des autres que nous pourrons trouver des solutions « nouvelles ». Le processus créatif nécessite des données connues. OpenEvolve utilise ces données et les applique à de nouveaux problèmes (et peut également proposer des solutions inattendues). Je dirais donc que les frameworks ADRS sont créatifs. »
Audrey Cheng, doctorante à l’UC Berkeley
Cheng estime que l’impact potentiel de l’ADRS est considérable, en particulier dans le domaine des performances des systèmes. Elle s’attend à ce que de nombreuses entreprises utilisant des systèmes à grande échelle adoptent une forme d’ADRS pour optimiser leurs performances. Elle souligne également que le principal obstacle actuel réside dans la mise en place d’un cadre d’évaluation et de validation robuste, mais elle est optimiste quant à la possibilité d’appliquer l’ADRS à un large éventail de problèmes, y compris la sécurité et la tolérance aux pannes. Un article de blog de Datadog illustre cette tendance émergente.