Publié le 17 décembre 2025 à 06:01:00. Le projet TornadoVM, une solution open source visant à accélérer l’exécution de programmes Java sur divers types de matériel, a franchi une étape importante avec la sortie de sa version 2.0, particulièrement pertinente pour les développeurs de modèles de langage de grande taille (LLM).
- La version 2.0 de TornadoVM permet d’accélérer automatiquement les programmes Java sur les processeurs multicœurs, les GPU et les FPGA.
- Le projet propose deux API pour l’expression du parallélisme : l’API Loop Parallel, simple d’utilisation, et l’API Kernel, plus explicite et de type GPU.
- Une bibliothèque complète d’inférence LLM, GPULlama3.java, est désormais disponible, offrant des performances améliorées et une configuration simplifiée.
TornadoVM ne se substitue pas aux machines virtuelles Java (JVM) existantes, mais vient enrichir leurs capacités en permettant de décharger du code Java vers des accélérateurs matériels, tout en gérant la mémoire entre Java et ces derniers. Cette fonctionnalité est essentielle pour les charges de travail modernes dans le cloud et le domaine de l’apprentissage automatique.
Le projet, développé par le laboratoire Beehive de l’Université de Manchester, compile le bytecode Java en temps réel, en utilisant l’un des trois backends disponibles : OpenCL C, NVIDIA CUDA PTX et le format SPIR-V. Les développeurs peuvent choisir le backend le plus adapté à leur configuration matérielle.
TornadoVM excelle particulièrement dans les calculs parallèles, notamment ceux présents dans les applications matricielles telles que l’apprentissage automatique et l’apprentissage profond. D’autres domaines d’application incluent les simulations physiques, les applications financières (comme le modèle de Black-Scholes) et le traitement d’images, du langage naturel et du signal.
GPULlama3.java, la bibliothèque d’inférence LLM construite avec TornadoVM, a bénéficié d’améliorations significatives en termes de performances, avec un gain d’environ 30 % sur les GPU NVIDIA (en nombre de jetons par seconde). Elle prend en charge plusieurs modèles quantifiés FP16 (virgule flottante 16 bits) et 8 bits, allant de quelques milliards à plusieurs dizaines de milliards de paramètres. La configuration est également simplifiée grâce aux nouveaux SDK TornadoVM, éliminant la nécessité de configurations GPU complexes. La bibliothèque fonctionne avec NVIDIA PTX, OpenCL et, pour la première fois, Apple Silicon. Elle est également compatible avec Quarkus et LangChain4j.
Pour faciliter le développement avec TornadoVM, l’équipe a également créé TornadoInsight, un plugin pour IntelliJ IDEA qui améliore l’expérience utilisateur. De plus, TornadoVM devrait bientôt être disponible via SDKman, et les composants JNI seront migrés vers la nouvelle API FFM.
Les développeurs intéressés peuvent consulter le dépôt GitHub du projet pour plus d’informations et pour contribuer à son développement.