Home MondeLes adversaires basés sur l’IA ont besoin de défenses basées sur l’IA – The Cipher Brief

Les adversaires basés sur l’IA ont besoin de défenses basées sur l’IA – The Cipher Brief

by Clara Dubois

L’intelligence artificielle est désormais un outil courant dans l’arsenal des acteurs malveillants, allant de l’amélioration des techniques d’ingénierie sociale à la création de logiciels malveillants plus sophistiqués. Si les garde-fous des modèles d’IA grand public limitent certains abus, un marché noir propose déjà des alternatives sans restrictions, ouvrant la voie à de nouvelles menaces.

Au cours des huit dernières années, le Google Threat Intelligence Group (GTIG) a observé une évolution significative : l’IA est passée d’une simple curiosité à un élément essentiel pour les cybercriminels et les États-nations hostiles. Initialement utilisée pour affiner les opérations d’influence et l’ingénierie sociale, la technologie permet désormais de générer des faux textes, des enregistrements audio et des vidéos de plus en plus réalistes. Des images créées par des réseaux antagonistes génératifs (GAN) sont ainsi utilisées pour créer de faux profils en ligne, contournant les méthodes traditionnelles de vérification qui s’appuient sur la recherche d’images existantes.

L’invasion de l’Ukraine en 2022 a illustré la menace des deepfakes, avec la diffusion d’une fausse vidéo de Volodymyr Zelensky annonçant une capitulation qui visait à démoraliser les troupes et la population. Des contrefaçons profondes auraient également été employées dans des opérations criminelles et étatiques.

Récemment, l’équipe de Google a analysé l’utilisation de Gemini, un modèle d’IA développé par la société, par des acteurs malveillants. Les résultats montrent que Gemini est utilisé pour diverses tâches, notamment la recherche d’informations, la rédaction de code et l’identification de vulnérabilités dans les systèmes cibles. Des acteurs iraniens ont ainsi sollicité Gemini pour obtenir de l’aide sur des messages d’erreur et pour créer du code Python permettant de collecter des données sur des sites web. Des acteurs nord-coréens ont également tenté d’utiliser Gemini pour générer des scripts, développer des charges utiles et contourner les systèmes de sécurité. Ils ont même exploité l’IA pour créer des curriculum vitae et des identités fictives.

Un cas d’utilisation particulièrement préoccupant concerne l’assistance apportée aux cyberespions lors d’intrusions. Des acteurs liés à la Chine ont utilisé Gemini pour obtenir des conseils techniques sur des opérations en cours, comme l’enregistrement de mots de passe sur VMware vCenter ou la signature de plugins pour Microsoft Outlook afin de les déployer discrètement sur un réseau compromis.

Si Gemini est doté de mécanismes de sécurité pour prévenir les abus, le marché noir propose désormais des modèles d’IA sans ces restrictions, spécifiquement conçus pour des activités malveillantes. Ces outils facilitent le développement de logiciels malveillants, le phishing et l’exploitation de vulnérabilités, permettant ainsi à des acteurs moins expérimentés de mener des attaques sophistiquées.

L’émergence de logiciels malveillants améliorés par l’IA représente une nouvelle étape dans cette évolution. En août 2023, le groupe de cyberespionnage russe APT28 a utilisé un malware exploitant un modèle de langage étendu (LLM) en Ukraine. Ce malware utilisait une API pour générer des commandes à la volée et échapper à la détection statique. Un incident similaire a été observé dans la chaîne d’approvisionnement de NPM, où un malware utilisait des interfaces de ligne de commande LLM sur les machines des victimes pour rester indétecté. La fonctionnalité Code Insight de VirusTotal, basée sur un LLM, a d’ailleurs identifié ce malware comme une « menace grave pour la sécurité » alors qu’aucun autre fournisseur de sécurité ne l’avait signalé comme malveillant.

Par ailleurs, les chercheurs anticipent que les acteurs malveillants exploiteront prochainement l’IA pour découvrir de nouvelles vulnérabilités et automatiser les activités d’intrusion. Google a déjà démontré la capacité de l’IA à identifier des failles de sécurité, avec son agent BigSleep qui a permis de découvrir plus de 20 vulnérabilités et de déclencher des correctifs préventifs, y compris la découverte de failles « zero-day » avant qu’elles ne soient exploitées par des attaquants.

L’automatisation des intrusions représente également un risque majeur. Des agents capables de naviguer automatiquement à travers les réseaux ciblés et d’atteindre les objectifs fixés sans intervention humaine pourraient considérablement amplifier l’impact des attaques. Des efforts de recherche dans ce domaine sont déjà en cours, et certains projets open source ont même été discutés dans les cercles criminels.

Pour contrer ces menaces, les défenseurs doivent adopter une approche proactive basée sur l’IA. Des solutions comme BigSleep et le nouvel agent CodeMender de Google, capable de corriger automatiquement les vulnérabilités, seront essentielles pour prendre l’initiative et rester en avance sur les attaquants. La lutte contre les activités d’intrusion automatisées nécessitera également des solutions agentiques capables de réagir rapidement et de gérer le volume croissant d’attaques.

You may also like

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.