Apple divise par deux sa synthèse d’image AI avec le nouveau correctif Stable Diffusion

Mercredi, Apple a publié des optimisations qui permettent au générateur d’images Stable Diffusion AI de fonctionner sur Apple Silicon à l’aide de Core ML, le framework propriétaire d’Apple pour les modèles d’apprentissage automatique. Les optimisations permettront aux développeurs d’applications d’utiliser le matériel Apple Neural Engine pour exécuter Stable Diffusion environ deux fois plus rapidement que les méthodes Mac précédentes.

Stable Diffusion (SD), lancé en août, est un modèle de synthèse d’images IA open source qui génère de nouvelles images à l’aide de la saisie de texte. Par exemple, taper “astronaute sur un dragon” dans SD créera généralement une image d’exactement cela.

En publiant les nouvelles optimisations SD, disponibles sous forme de scripts de conversion sur GitHub, Apple souhaite libérer tout le potentiel de la synthèse d’images sur ses appareils, ce qu’il note sur la page d’annonce d’Apple Research. “Avec le nombre croissant d’applications de Stable Diffusion, il est important de s’assurer que les développeurs peuvent exploiter efficacement cette technologie pour créer des applications que les créatifs du monde entier pourront utiliser.”

Apple mentionne également la confidentialité et l’évitement des coûts de cloud computing comme avantages de l’exécution d’un modèle de génération d’IA localement sur un Mac ou un appareil Apple.

“La vie privée de l’utilisateur final est protégée car toutes les données fournies par l’utilisateur en entrée du modèle restent sur l’appareil de l’utilisateur”, explique Apple. “Deuxièmement, après le téléchargement initial, les utilisateurs n’ont pas besoin d’une connexion Internet pour utiliser le modèle. Enfin, le déploiement local de ce modèle permet aux développeurs de réduire ou d’éliminer leurs coûts liés au serveur.”

Actuellement, Stable Diffusion génère des images plus rapidement sur les GPU haut de gamme de Nvidia lorsqu’il est exécuté localement sur un PC Windows ou Linux. Par exemple, générer une image 512×512 à 50 pas sur une RTX 3060 prend environ 8,7 secondes sur notre machine.

En comparaison, la méthode conventionnelle d’exécution de Stable Diffusion sur un Apple Silicon Mac est beaucoup plus lente, prenant environ 69,8 secondes pour générer une image 512 × 512 à 50 étapes en utilisant Diffusion Bee dans nos tests sur un Mac Mini M1.

Selon les benchmarks d’Apple sur GitHub, les nouvelles optimisations Core ML SD d’Apple peuvent générer une image 512×512 en 50 étapes sur une puce M1 en 35 secondes. Un M2 fait la tâche en 23 secondes, et la puce Silicon la plus puissante d’Apple, la M1 Ultra, peut obtenir le même résultat en seulement neuf secondes. C’est une amélioration spectaculaire, réduisant de près de moitié le temps de génération dans le cas du M1.

La version GitHub d’Apple est un package Python qui convertit les modèles Stable Diffusion de PyTorch en Core ML et inclut un package Swift pour le déploiement du modèle. Les optimisations fonctionnent pour Stable Diffusion 1.4, 1.5 et la nouvelle version 2.0.

Pour le moment, l’expérience de configuration de Stable Diffusion avec Core ML localement sur un Mac est destinée aux développeurs et nécessite certaines compétences de base en ligne de commande, mais Hugging Face a publié un guide détaillé sur la configuration des optimisations Core ML d’Apple pour ceux qui veulent expérimenter.

Pour ceux qui sont moins enclins à la technique, l’application mentionnée précédemment appelée Diffusion Bee facilite l’exécution de Stable Diffusion sur Apple Silicon, mais elle n’intègre pas encore les nouvelles optimisations d’Apple. En outre, vous pouvez exécuter Stable Diffusion sur un iPhone ou un iPad à l’aide de l’application Draw Things.