Les images contradictoires sont des images contenant des motifs soigneusement conçus pour tromper les systèmes de vision par ordinateur. Les modèles amènent des systèmes de reconnaissance de visage ou d’objet autrement puissants à mal identifier des choses ou des visages qu’ils reconnaîtraient normalement.
Ce type de supercherie délibérée a des implications importantes puisque des utilisateurs malveillants pourraient l’utiliser pour contourner les systèmes de sécurité.
Cela soulève également des questions intéressantes sur d’autres types d’intelligence informatique, tels que les systèmes texte-image. Les utilisateurs saisissent un mot ou une phrase et un réseau neuronal spécialement formé l’utilise pour évoquer une image photoréaliste. Mais ces systèmes sont-ils également susceptibles d’attaques contradictoires et si oui, comment ?
Aujourd’hui, nous obtenons une réponse grâce aux travaux de Raphaël Millière, chercheur en intelligence artificielle à l’université de Columbia à New York. Millière a découvert un moyen de tromper les générateurs de texte en image en utilisant des mots inventés conçus pour déclencher des réponses spécifiques.
Conséquences indésirables
Les travaux posent à nouveau des problèmes de sécurité. “Les attaques adverses peuvent être déployées intentionnellement et de manière malveillante pour inciter les réseaux de neurones à mal classer les entrées ou à générer des sorties problématiques, ce qui peut avoir des conséquences néfastes dans la vie réelle”, déclare Millière.
Ces derniers mois, les systèmes de conversion texte-image ont évolué au point que les utilisateurs peuvent taper une phrase, comme un astronaute à cheval, et recevoir en réponse une image étonnamment réaliste. Ces systèmes ne sont pas parfaits mais néanmoins impressionnants.
Des mots absurdes peuvent inciter les humains à imaginer certaines scènes. Un exemple célèbre est le Poème de Lewis Carroll Jabberwocky: “‘Twas brillig, et les toves slithy, Did gyre and gimble in the wabe…« Pour la plupart des gens, sa lecture évoque des images fantastiques.
Millière s’est demandé si les systèmes texte-image pouvaient être aussi vulnérables. Il a utilisé une technique appelée « incitation aux macaronis » pour créer des mots absurdes en combinant des parties de mots réels de différentes langues. Ainsi, le mot “falaise” est Des pierres en allemand, falaise en italien, falaise en français et Falaise en espagnol. Millière a pris des parties de ces mots pour créer le terme absurde “falaiscoglieklippantilado”.
À sa grande surprise, mettre ce mot dans le générateur de texte en image DALL-E 2 a produit un ensemble d’images de falaises. Il a créé d’autres mots de la même manière avec des résultats comparables : insectes pour les bogues, farpapmariterling pour papillon, coniglapkaninc pour le lapin et ainsi de suite. Dans chaque cas, le générateur a produit des images réalistes du mot anglais.
Millière a même produit des phrases de ces mots inventés. Par exemple, la phrase “Un eidelucertlagarzard mangeant un maripofarterling” a produit des images d’un lézard dévorant un papillon. “Les expériences préliminaires suggèrent que les chaînes de nonce hybrides peuvent être méthodiquement conçues pour générer des images de pratiquement n’importe quel sujet selon les besoins, et même combinées pour générer des scènes plus complexes”, dit-il.
Un farpapmaripterling atterrit sur un feuerpompbomber, comme imaginé par le générateur de texte en image DALL-E 2 (Source ; https://arxiv.org/abs/2208.04135)
Millière pense que c’est possible parce que les générateurs de texte en image sont formés sur une grande variété d’images, dont certaines doivent avoir été étiquetées dans des langues étrangères. Cela permet aux mots inventés d’encoder des informations que la machine peut comprendre.
La possibilité de tromper les générateurs de texte en image soulève un certain nombre de préoccupations. Millière souligne que les entreprises technologiques accordent une grande attention à la prévention de l’utilisation illicite de leurs technologies.
“Une préoccupation évidente avec cette méthode est le contournement des filtres de contenu basés sur des invites sur liste noire”, explique Millière. “En principe, l’incitation macaronique pourrait fournir un moyen simple et apparemment fiable de contourner ces filtres afin de générer un contenu nuisible, offensant, illégal ou autrement sensible, y compris des images violentes, haineuses, racistes, sexistes ou pornographiques, et peut-être des images portant atteinte à sur la propriété intellectuelle ou représentant de vrais individus.
Imagerie indésirable ?
Il suggère qu’une façon d’empêcher la création d’images indésirables serait d’en supprimer tous les exemples des ensembles de données utilisés pour former le système d’IA. Une autre option consiste à vérifier toutes les images créées en les introduisant dans un système image-texte avant de les rendre publiques et à filtrer celles qui produisent des descriptions textuelles indésirables.
Pour le moment, les possibilités d’interagir avec les générateurs de texte en image sont limitées. Parmi les trois plus avancés, Google en a développé deux, Parti et Imagen, et ne les met pas à la disposition du public en raison de divers biais qu’il a découverts dans leurs entrées et sorties.
Le troisième système, DALL-E 2, a été développé par l’Open AI Initiative et est disponible pour un nombre limité de chercheurs, journalistes et autres. C’est celui que Millière a utilisé.
D’une manière ou d’une autre, ces systèmes ou d’autres systèmes similaires sont appelés à se généraliser, il est donc important de comprendre leurs limites et leurs faiblesses pour éclairer le débat public. Une question clé pour les entreprises technologiques, et plus largement pour la société, est de savoir comment ces systèmes doivent être utilisés et réglementés. Un tel débat est urgent.
Ref : Attaques contradictoires sur la génération d’images avec des mots inventés : arxiv.org/abs/2208.04135
