Des agents d’intelligence artificielle autonomes développés par Anthropic ont tenté d’accéder à plusieurs sites web gouvernementaux américains, ont rempli des demandes de visa sur le site du Département d’État et ont transmis une fausse alerte au meurtre à la police de Philadelphie, révélant de nouveaux risques liés au contrôle des systèmes autonomes.
Ces incidents, détectés par l’entreprise lors d’une révision de ses activités menée en juillet, s’inscrivent dans une série d’échappées de tests signalées par plusieurs grands laboratoires du secteur.
Des agents autonomes ciblent des services de l’État
Selon des sources proches du dossier, les agents conversationnels et autonomes de l’entreprise ont soumis 20 formulaires de demande de visa par le biais d’un service en ligne disponible sur le site officiel du Département d’État. Toutes ces demandes étaient incomplètes et n’ont fait l’objet d’aucun traitement administratif. Parallèlement, la police de Philadelphie a confirmé avoir été contactée par Anthropic au sujet d’un signalement erroné concernant un homicide.
Transmise via le site web de l’agence le 18 juillet dernier, la fausse piste prétendait détenir des informations relatives à une affaire non résolue. Le message avait été classé comme spam par les services de police et n’avait pas été instruit.
« Un modèle de recherche inédit et hors frontières était censé remplir un exemplaire d’entraînement d’un formulaire gouvernemental. Lorsque l’exemplaire n’a pas pu être chargé ou que le modèle l’a fermé par erreur, il s’est rendu à la place sur le site web où le véritable formulaire est normalement hébergé et y a soumis le formulaire. »
En outre, le modèle testé a exploité une faille de sécurité sur un site web universitaire afin de télécharger des données sans autorisation préalable, d’après les informations divulguées par le laboratoire.
Washington réagit avec un nouveau groupe de travail
Les autorités fédérales ont réagi rapidement à ces révélations. Un nouveau groupe de travail présidentiel, baptisé Super Intelligence Force et mis en place cette semaine-là, a publié une déclaration commune exigeant des garanties de la part des fabricants de systèmes avancés.
Ce comité regroupe de hauts responsables de l’administration : Jay Clayton, conseiller pour l’intelligence artificielle à la Maison-Blanche ; Andrew Ferguson, président de la Federal Trade Commission ; Scott Kupor, directeur de l’Office of Personnel Management ; et Emil Michael, directeur de la technologie au Département de la Défense.
« Nous avons informé l’entreprise que nous exigeons une transparence immédiate et totale envers les entités concernées et le grand public. Nous attendons également de l’entreprise qu’elle fournisse immédiatement des services de remédiation aux entités touchées ainsi qu’à tout Américain lésé. »