Publié le 24 novembre 2023 14:35:00. Amazon SageMaker HyperPod améliore significativement l’efficacité de l’intelligence artificielle générative (IA générative) en permettant un partage plus fin des ressources GPU, réduisant ainsi les temps d’attente et optimisant les coûts pour les équipes de data science.
- La plateforme prend désormais en charge la technologie NVIDIA Multi-Instance GPU (MIG) pour partitionner les GPU.
- Les administrateurs peuvent allouer des quotas de calcul pour une répartition équitable des ressources.
- La fonctionnalité est disponible dans plusieurs régions AWS à travers le monde.
Amazon SageMaker HyperPod, la solution d’Amazon Web Services (AWS) pour l’entraînement et l’inférence de modèles d’IA à grande échelle, vient d’ajouter une nouvelle fonctionnalité clé : la prise en charge de la technologie NVIDIA Multi-Instance GPU (MIG). Cette avancée permet aux administrateurs de diviser un seul GPU en plusieurs instances isolées, optimisant ainsi l’utilisation des ressources disponibles.
Grâce à MIG, il devient possible d’exécuter simultanément diverses tâches d’IA générative (GenAI) de petite taille sur ces partitions GPU, sans compromettre les performances ou la sécurité des données. Les administrateurs disposent de deux options pour activer cette fonctionnalité : une configuration simplifiée via la console SageMaker HyperPod, ou une approche personnalisée pour un contrôle plus précis des ressources.
L’allocation de quotas de calcul est également possible, garantissant une distribution juste et efficace des partitions GPU entre les différentes équipes. Un tableau de bord de surveillance en temps réel fournit une visibilité complète sur l’utilisation des ressources, permettant aux administrateurs d’optimiser l’allocation en fonction des besoins.
Pour les data scientists, cette nouvelle fonctionnalité se traduit par une accélération significative de la mise sur le marché. La possibilité de planifier des tâches d’inférence légères et d’exécuter des notebooks interactifs en parallèle sur les partitions GPU élimine les temps d’attente liés à la disponibilité complète d’un GPU.
Cette fonctionnalité est actuellement disponible pour les clusters Amazon SageMaker HyperPod utilisant l’orchestrateur EKS dans les régions AWS suivantes : USA Ouest (Oregon), USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), Canada (Centre), Amérique du Sud (Sao Paulo), Europe (Stockholm), Europe (Espagne), Europe (Irlande), Europe (Francfort), Europe (Londres), Asie-Pacifique (Mumbai), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Asie-Pacifique (Tokyo), Asie-Pacifique (Sydney), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour). Pour plus d’informations, consultez la page web SageMaker HyperPod et la documentation SageMaker HyperPod.
À ne pas manquer
