Publié le 5 décembre 2023 20:19:00. Plus d’un million d’images et de vidéos, majoritairement pornographiques et générées par intelligence artificielle, ont été exposées en ligne suite à une faille de sécurité. Parmi ces fichiers, certains semblent représenter des mineurs et d’autres ont été créés à partir de photos de personnes réelles, soulevant de graves questions éthiques et juridiques.
- Une base de données non sécurisée contenant plus d’un million d’images et de vidéos générées par IA, dont une part importante est pornographique, a été découverte.
- Des images pourraient représenter des mineurs ou avoir été créées à partir de photos de personnes sans leur consentement.
- Les sites web et applications concernés, MagicEdit et DreamPal, ont été mis hors ligne après la révélation de la faille.
Le chercheur en cybersécurité Jeremiah Fowler a découvert en octobre cette brèche de sécurité affectant plusieurs générateurs d’images par intelligence artificielle, notamment MagicEdit et DreamPal. Les fichiers étaient stockés sur un serveur non protégé, rendant accessible au public un volume considérable de contenu potentiellement illégal et préjudiciable.
Selon M. Fowler, de nombreux fichiers montrent « les visages d’adultes et de jeunes placés numériquement sur des corps générés par l’IA ». La base de données contenait également des images non modifiées de personnes réelles, qui auraient pu être utilisées comme références pour l’entraînement des algorithmes d’IA. Il n’est pas clair si les personnes concernées ont donné leur consentement pour l’utilisation de leur image.
« Tout outil permettant l’échange de visage ou de corps grâce à l’IA à l’insu ou sans le consentement d’une personne crée d’importants problèmes d’éthique, de confidentialité et potentiellement juridiques. »
Jeremiah Fowler, chercheur en cybersécurité
Après avoir alerté MagicEdit, la base de données a été sécurisée et n’est plus accessible. MagicEdit a indiqué mener une enquête approfondie sur l’étendue de la fuite de données. Un porte-parole de DreamX, la société exploitant MagicEdit et DreamPal, a déclaré que la sécurité des utilisateurs et le respect des lois étaient leurs priorités.
« Nous ne tolérons, ne soutenons ni ne tolérons la création ou la distribution de matériel pédopornographique (« CSAM »), en aucune circonstance. »
Porte-parole de DreamX
Suite à l’enquête, les sites web et les applications mobiles de MagicEdit et DreamPal ont été mis hors ligne. L’application MagicEdit avait déjà été retirée du Play Store de Google plus tôt cette année en raison de violations de sa politique concernant le « contenu sexuellement explicite ». Bien que DreamX semble être à l’origine de ces retraits, Wired rapporte que MagicEdit affichait auparavant une image générée par l’IA d’une femme se changeant, passant d’une robe à un bikini.
Le site web de DreamPal proposait également des thèmes pour adultes, tels que « Chat de jeu de rôle IA » et « Petites amies IA de rêve ». Wired a également trouvé des liens vers des services de « Chat de sexe IA » et « Talk Dirty AI ». Une foire aux questions indiquait même que tous les filtres de chat NSFW (Not Safe For Work) avaient été supprimés pour permettre aux utilisateurs d’exprimer leurs fantasmes.
M. Fowler a signalé la base de données au Centre national pour les enfants disparus et exploités en raison de la nature de certaines des images, en plus d’avoir géré la divulgation de manière responsable.