L’équipe AI Red de Microsoft a déjà fait ses preuves

Pour la plupart des gens, l’idée d’utiliser des outils d’intelligence artificielle dans la vie quotidienne – ou même simplement de s’amuser avec eux – n’est devenue courante que ces derniers mois, avec de nouvelles versions d’outils d’IA génératifs d’un grand nombre de grandes entreprises et de startups technologiques, comme OpenAI ChatGPT et Barde de Google. Mais dans les coulisses, la technologie prolifère depuis des années, ainsi que des questions sur la meilleure façon d’évaluer et de sécuriser ces nouveaux systèmes d’IA. Lundi, Microsoft révèle des détails sur l’équipe au sein de l’entreprise qui, depuis 2018, est chargée de déterminer comment attaquer les plates-formes d’IA pour révéler leurs faiblesses.

Au cours des cinq années qui ont suivi sa création, l’équipe rouge d’IA de Microsoft est passée de ce qui était essentiellement une expérience à une équipe interdisciplinaire complète d’experts en apprentissage automatique, de chercheurs en cybersécurité et même d’ingénieurs sociaux. Le groupe s’efforce de communiquer ses conclusions au sein de Microsoft et dans l’ensemble de l’industrie technologique en utilisant le langage traditionnel de la sécurité numérique, de sorte que les idées seront accessibles plutôt que d’exiger des connaissances spécialisées en IA que de nombreuses personnes et organisations n’ont pas encore. Mais en vérité, l’équipe a conclu que la sécurité de l’IA présente d’importantes différences conceptuelles par rapport à la défense numérique traditionnelle, ce qui nécessite des différences dans la manière dont l’équipe rouge de l’IA aborde son travail.

“Quand nous avons commencé, la question était : ‘Qu’est-ce que tu vas fondamentalement faire de différent ? Pourquoi avons-nous besoin d’une équipe rouge d’IA ? » déclare Ram Shankar Siva Kumar, le fondateur de l’équipe rouge d’IA de Microsoft. “Mais si vous considérez l’équipe rouge IA comme une équipe rouge traditionnelle, et si vous ne prenez que l’état d’esprit de la sécurité, cela peut ne pas être suffisant. Nous devons maintenant reconnaître l’aspect responsable de l’IA, qui est la responsabilité des défaillances du système d’IA, générant ainsi un contenu offensant, générant un contenu non fondé. C’est le Saint Graal de l’équipe rouge de l’IA. Il ne s’agit pas seulement d’examiner les défaillances de la sécurité, mais aussi les défaillances responsables de l’IA. »

Shankar Siva Kumar dit qu’il a fallu du temps pour faire ressortir cette distinction et faire valoir que la mission de l’équipe rouge de l’IA aurait vraiment ce double objectif. Une grande partie des premiers travaux concernait la publication d’outils de sécurité plus traditionnels tels que la matrice des menaces d’apprentissage automatique 2020, un collaboration entre Microsoft, le groupe de R&D à but non lucratif MITRE et d’autres chercheurs. Cette année-là, le groupe a également publié des outils d’automatisation open source pour les tests de sécurité de l’IA, connus sous le nom de Contre-ajustement Microsoft. Et en 2021, l’équipe rouge publié un cadre supplémentaire d’évaluation des risques de sécurité liés à l’IA.

Au fil du temps, cependant, l’équipe rouge de l’IA a pu évoluer et se développer à mesure que l’urgence de remédier aux failles et aux échecs de l’apprentissage automatique devenait plus évidente.

Lors d’une des premières opérations, l’équipe rouge a évalué un service de déploiement cloud Microsoft qui comportait un composant d’apprentissage automatique. L’équipe a conçu un moyen de lancer une attaque par déni de service sur d’autres utilisateurs du service cloud en exploitant une faille qui leur permettait de créer des requêtes malveillantes pour abuser des composants d’apprentissage automatique et créer stratégiquement des machines virtuelles, les systèmes informatiques émulés utilisés dans le cloud. . En plaçant soigneusement les machines virtuelles dans des positions clés, l’équipe rouge pourrait lancer des attaques de «voisin bruyant» sur d’autres utilisateurs du cloud, où l’activité d’un client a un impact négatif sur les performances d’un autre client.