Snowflake lance Arctic, un LLM ouvert « mélange d’experts » pour affronter DBRX et Llama 3

Aujourd’hui, Flocon de neige a annoncé le lancement d’Arctic, un grand modèle de langage (LLM) optimisé pour les charges de travail d’entreprise complexes telles que la génération SQL, la génération de code et le suivi d’instructions.

Présenté comme le « LLM d’entreprise le plus ouvert » du marché, Arctic exploite un mélange unique d’architecture experte (MoE) pour répondre aux meilleures références pour les tâches d’entreprise tout en étant efficace. Il offre également des performances compétitives sur les benchmarks standards, correspondant presque aux modèles ouverts de Databricks, Meta et Mistral pour des tâches tournant autour de la connaissance du monde, du bon sens, du raisonnement et des capacités mathématiques.

“C’est un moment décisif pour Snowflake, avec notre équipe de recherche en IA qui innove à la pointe de l’IA”, a déclaré PDG de Flocon de neige Sridhar Ramaswamy. « En fournissant à la communauté de l’IA une intelligence et une efficacité de pointe, d’une manière véritablement ouverte, nous repoussons les frontières de ce que l’IA open source peut faire. Nos recherches avec Arctic amélioreront considérablement notre capacité à fournir une IA fiable et efficace à nos clients.

Snowflake Arctic se lance dans les charges de travail des entreprises

Les entreprises modernes sont optimistes quant au potentiel de l’IA générative et se précipitent pour créer des applications d’IA générative telles que la génération augmentée par récupération (RAG). chatbots, copilotes de données et assistants de code. Le fait est qu’il existe de nombreux modèles qu’ils peuvent utiliser pour donner vie à ces cas d’utilisation, mais seuls quelques-uns sont spécifiquement axés sur les tâches de l’entreprise. C’est là qu’intervient Snowflake Arctic

« Nous investissons dans l’IA parce que nous pensons qu’elle va améliorer considérablement la création de produits d’IA de bout en bout. Notre rêve ici est comme une API que nos clients peuvent utiliser pour que les utilisateurs professionnels puissent communiquer directement avec les données. C’est l’objectif ultime de Snowflake pour démocratiser les données au sein de l’entreprise. Et nous pensons que c’est un élément très important pour faire de cette vision une réalité », a déclaré Ramaswamy lors d’un point de presse.

Arctic utilise une architecture hybride Dense MoE, où les paramètres sont divisés en 128 sous-groupes d’experts à granularité fine. Ces experts – formés selon un programme de données dynamiques – sont toujours prêts, mais ne manipulent que les jetons d’entrée qu’ils peuvent traiter le plus efficacement. Cela signifie que seuls certains paramètres du modèle – 17 milliards sur 480 milliards – sont activés en réponse à une requête, offrant ainsi des performances ciblées avec une consommation de calcul minimale.

Selon les benchmarks partagés par Snowflake, avec cette approche, Arctic gère déjà assez bien les tâches de l’entreprise, obtenant une moyenne de 65 % sur plusieurs tests. Cela correspond à la performance moyenne d’entreprise du Llama 3 70B et se situe juste derrière le score de 70 % du Mixtral 8X22B.

Dans le benchmark Spider pour la génération SQL, le modèle a obtenu un score de 79 %, surpassant DBRX et Mixtral 8X7B de Databricks et correspondant presque à Llama 3 70B et Mixtral 8X22B. Dans les tâches de codage, où l’entreprise a pris en compte une moyenne des scores HumanEval+ et MBPP+, elle a obtenu un score de 64,3 %, dépassant encore une fois Databricks et le plus petit modèle Mixtral et derrière Llama 3 70B et Mixtral 8X22B.

Cependant, le plus intéressant était le benchmark IFEval conçu pour mesurer les capacités de suivi des instructions. Arctic a obtenu un score de 52,4 % lors de ce test, faisant mieux que la plupart des concurrents, à l’exception du dernier modèle Mixtral.

La société affirme que ce niveau d’intelligence d’entreprise a été atteint avec une efficacité révolutionnaire, en utilisant un budget de calcul de formation d’un peu moins de 2 millions de dollars. C’est bien inférieur au budget de calcul d’autres modèles ouverts, notamment Appelez le 3 70B qui a été entraîné avec 17 fois plus de calcul. De plus, le modèle utilise 17 paramètres actifs pour obtenir ces résultats, ce qui est bien inférieur à ce que d’autres modèles utilisent et générera davantage d’avantages en termes de coûts.

Disponibilité sous licence Apache 2.0

Snowflake rend Arctic disponible à l’intérieur Cortex, son propre service de développement d’applications LLM, ainsi que dans d’autres jardins et catalogues de modèles, notamment Hugging Face, Lamini, Microsoft Azure, le catalogue d’API Nvidia, Perplexity et Together. Sur Hugging Face, les poids et le code des modèles Arctic peuvent être téléchargés directement sous une licence Apache 2.0 qui permet une utilisation sans restriction pour des applications personnelles, commerciales ou de recherche.

Mais ce n’est là qu’un aperçu des efforts « véritablement ouverts » de l’entreprise.

En plus des poids et des codes du modèle, la société publie une recette de données pour aider les entreprises à effectuer des réglages fins efficaces sur un seul GPU, ainsi que des livres de recettes de recherche complets contenant des informations sur la façon dont le modèle a été conçu et entraîné.

« Le livre de recettes est conçu pour accélérer le processus d’apprentissage pour quiconque étudie les modèles de classe mondiale du MoE. Il offre des informations de haut niveau ainsi que des détails techniques granulaires pour créer des LLM comme Arctic afin que chacun puisse construire l’intelligence souhaitée de manière efficace et économique », a déclaré Baris Gultekin, responsable de l’IA de Snowflake, lors du point de presse.