Publié le 2024-05-16 10:30:00. Face aux difficultés rencontrées avec son initiative d’intelligence artificielle, Apple dévoile un nouveau modèle de génération vidéo, STARFlow-V, qui se distingue par son approche innovante et sa qualité d’image prometteuse.
- Apple présente STARFlow-V, un modèle d’IA vidéo qui s’éloigne des méthodes de diffusion traditionnelles.
- STARFlow-V génère des vidéos courtes d’une résolution de 480p avec un réalisme accru par rapport aux modèles concurrents.
- Le modèle est capable de créer des vidéos à partir de texte, d’étendre des images fixes et d’éditer des séquences existantes.
Alors que la restructuration du département d’intelligence artificielle d’Apple est en cours, comme le rapporte Heise Online, les chercheurs de l’entreprise ont publié un nouveau modèle d’IA vidéo qui suscite l’intérêt des spécialistes. Baptisé STARFlow-V, ce modèle se démarque par son approche novatrice, rompant avec les méthodes de diffusion largement utilisées dans le domaine.
Ce qui distingue STARFlow-V, c’est son utilisation de ce que l’on appelle des “flux de normalisation”, une technologie jusqu’alors peu exploitée dans la génération vidéo. Les exemples de vidéos générées, disponibles sur la page du projet sur GitHub, témoignent d’un niveau de réalisme supérieur à celui des modèles d’IA comparables. Contrairement à ces derniers, qui peuvent produire des images vacillantes, irréalistes ou présentant des artefacts typiques de l’IA, STARFlow-V offre une qualité d’image plus stable et convaincante. Bien que la résolution des vidéos soit limitée à 480p, l’objectif principal d’Apple semble être de démontrer la faisabilité de cette nouvelle approche plutôt que de proposer un modèle immédiatement utilisable au quotidien.
Le modèle, doté de 7 milliards de paramètres, peut générer des vidéos à partir de descriptions textuelles, transformer des images fixes en séquences animées et modifier des vidéos existantes. Les chercheurs ont entraîné STARFlow-V sur un vaste ensemble de données comprenant 70 millions de paires texte-vidéo et 400 millions de paires texte-image supplémentaires. Les vidéos produites affichent une résolution de 480p, une fréquence de 16 images par seconde et une durée maximale de 5 secondes par segment.
Pour créer des vidéos plus longues, STARFlow-V utilise une technique d’extension progressive : la fin d’un segment de 5 secondes sert de point de départ pour le segment suivant. La page du projet présente des exemples de vidéos d’une durée maximale de 30 secondes. C’est dans ce contexte que l’architecture particulière de STARFlow-V révèle toute sa puissance. En effet, contrairement aux modèles de diffusion, les vidéos générées avec des flux de normalisation sont mathématiquement réversibles. Cela permet au modèle de calculer avec précision la probabilité d’une vidéo donnée, de ne pas nécessiter d’encodeur séparé pour les images d’entrée et de s’entraîner directement de bout en bout.
Une autre caractéristique distinctive de STARFlow-V est sa génération de vidéos strictement autorégressive, c’est-à-dire image par image et dans l’ordre chronologique. Ainsi, les images ultérieures ne peuvent pas influencer les précédentes. Les modèles de diffusion traditionnels, en revanche, ont tendance à débruiter toutes les images en parallèle. De plus, les chercheurs ont intégré au modèle une “architecture globale-locale” : les relations temporelles à grande échelle, sur plusieurs secondes, sont traitées dans un espace compact, tandis que les détails fins au sein de chaque image sont gérés localement. L’objectif est d’éviter que de petites erreurs ne s’amplifient au fil du temps et ne créent des anomalies.
Pour optimiser la vitesse de traitement, STARFlow-V s’appuie sur une “itération jacobienne compatible vidéo”. Au lieu de calculer chaque valeur individuellement, plusieurs blocs sont traités en parallèle. La première image d’un nouveau segment est générée à partir de la dernière image du segment précédent. Selon Apple, cette approche permet d’obtenir une accélération significative par rapport à l’autorégression standard.
Les tests de performance réalisés sur VBench montrent que STARFlow-V atteint des scores comparables à ceux des modèles de diffusion actuels, mais reste encore en retrait par rapport aux systèmes commerciaux tels que Veo 3 de Google ou Gen-3 de Runway. Cependant, le modèle d’Apple présente quelques faiblesses : dans un exemple, une pieuvre sort d’un verre en traversant simplement le mur, et un hamster court dans une roue transparente d’une manière peu naturelle. Malgré les optimisations, la vitesse d’inférence reste encore loin d’être en temps réel.
Les applications potentielles de ce modèle restent floues. Compte tenu de sa taille relativement réduite, il pourrait être utilisé localement sur des appareils. Son intégration dans un système de réalité virtuelle ou augmentée est également envisageable, tout comme son utilisation dans le domaine de la robotique, un secteur dans lequel Apple semble manifester un intérêt croissant. Le code source de STARFlow-V est disponible sur GitHub, ainsi qu’un article détaillant le fonctionnement du modèle.
(mki)
À lire aussi
