Au milieu de l’éventail déconcertant de brutalité en Ukraine, les éthiciens militaires ont surveillé de près si la guerre pourrait également devenir un terrain d’essai pour les drones qui utilisent l’intelligence artificielle, ou IA, pour décider qui blesser.
Au début de la guerre, on disait que Moscou utilisait des drones « kamikazes » comme « robots chasseurs-tueurs ». La société russe qui a créé l’arme s’est vantée de ses compétences en IA – le genre qui pourrait potentiellement permettre à une machine plutôt qu’à un humain de choisir ses cibles. Mais le consensus parmi les analystes de la défense a été que ces affirmations étaient plus un battage publicitaire qu’une capacité crédible.
Pourquoi nous avons écrit ceci
À un moment donné, les militaires permettront probablement à l’intelligence artificielle de décider quand appuyer sur la gâchette – et sur qui. L’Ukraine montre à quel point ce moment pourrait être proche.
Pourtant, il ne fait aucun doute que la demande d’IA dans les drones a été vorace et croissante. Et si les humains appuient pour l’instant sur la gâchette, pour ainsi dire, “je ne pense pas que cela durera dans le temps”, déclare Paul Scharre, un expert qui travaillait auparavant sur la politique des systèmes autonomes au Pentagone.
La question de savoir si une arme est éthique est résolue en grande partie, ajoute l’expert en sécurité Gregory Allen, quant à savoir si elle est entre les mains d’une armée “qui a l’intention de se comporter de manière éthique”.
Au milieu de l’éventail déconcertant de brutalités sur et en dehors des champs de bataille ukrainiens, les éthiciens militaires ont surveillé de près si la guerre pourrait également devenir un terrain d’essai pour les drones qui utilisent l’intelligence artificielle pour décider qui blesser.
Au début de la guerre, on disait que Moscou utilisait des drones « kamikazes » comme « robots chasseurs-tueurs ». Bien que la société russe qui a créé l’arme se soit vantée de ses compétences en IA – le type qui pourrait potentiellement permettre à une machine plutôt qu’à un humain de choisir ses cibles – le consensus parmi les analystes de la défense a été que ces affirmations étaient plus un battage publicitaire qu’une capacité crédible.
Pourtant, il ne fait aucun doute que la demande d’IA dans les drones a été vorace et croissante. Les drones exposés en Ukraine ont tous un humain qui appuie sur la gâchette, pour ainsi dire – pour le moment. “Je ne pense pas que nous ayons des preuves significatives que l’IA ou l’apprentissage automatique soient utilisés de manière significative en Ukraine pour le moment”, déclare Paul Scharre, qui a précédemment travaillé sur la politique des systèmes autonomes au Pentagone.
Pourquoi nous avons écrit ceci
À un moment donné, les militaires permettront probablement à l’intelligence artificielle de décider quand appuyer sur la gâchette – et sur qui. L’Ukraine montre à quel point ce moment pourrait être proche.
« Mais je ne pense pas que cela durera dans le temps », ajoute-t-il.
En effet, avant la guerre, les drones étaient considérés comme un outil antiterroriste utile contre des adversaires sans puissance aérienne, mais pas particulièrement efficaces contre les grands acteurs étatiques qui pouvaient facilement les abattre. Le conflit actuel prouve le contraire.
Les guerres ont aussi un moyen de provoquer des sauts technologiques. Celui-ci pourrait enseigner aux combattants – et aux observateurs intéressés – des leçons qui rapprochent le monde de l’IA prenant des décisions de «tuer» sur le champ de bataille, selon les analystes. “Je pense que la guerre ukrainienne est presque une porte d’entrée vers cela”, déclare Joshua Schwartz, grand chercheur en stratégie, sécurité et art de l’État à l’Université de Harvard.
“Effrayant” – mais c’est aussi le cas de toutes les guerres
En mars 2021, une grande peur parmi les éthiciens de l’IA s’est concrétisée : un groupe d’experts des Nations Unies a averti que la Turquie avait déployé une arme en Libye – le drone quadricoptère Kargu-2 – qui pourrait traquer les troupes en retraite et les tuer sans « connectivité de données ». entre l’opérateur humain et l’arme.
Parallèlement au flot de commentaires dénonçant l’utilisation d’armes dites terminator, un rapport de l’Académie militaire américaine de West Point était plus circonspect. Il a fait valoir que le débat éthique entourant le Kargu-2 ne devrait pas se concentrer sur la question de savoir s’il avait tué de manière autonome, mais si, ce faisant, il avait respecté les lois sur les conflits armés.
“Le centre des préoccupations humanitaires devrait être la capacité du drone à distinguer les cibles militaires légitimes des civils protégés et à diriger ses attaques contre les premières de manière discriminatoire”, a écrit l’auteur de l’article, Hitoshi Nasu, professeur de droit à West Point.
Contrairement à la première version des armes autonomes – les mines terrestres, par exemple – les systèmes d’IA d’aujourd’hui sont généralement conçus pour éviter les pertes civiles. Pour cette raison, les gens devraient être plus enclins à les “embrasser”, a déclaré M. Nasu dans une interview avec le Monitor.
Mais de nombreux critiques ne peuvent pas ébranler les préjugés alimentés par la science-fiction, ajoute-t-il.
« Je me souviens de quelqu’un qui écrivait sur ce sujet : ‘Ça doit être très effrayant pour quelqu’un d’être ciblé par un système autonome’ », dit M. Nasu. “Eh bien, la guerre est très effrayante – qu’elle soit menée par des systèmes autonomes ou des êtres humains.”
Les critiques soulignent cependant qu’un tel scénario pourrait être particulièrement alarmant pour les soldats qui tentent en vain, par exemple, de se rendre à une machine. Cela nécessite « d’accorder le quartier » – faire preuve de miséricorde à un ennemi qui dépose les armes – et il n’est pas clair si le Kargu-2, face aux « défis techniques », en est capable, écrit M. Nasu dans son article.
“L’abandon d’une arme peut être un événement de reddition détectable par machine”, mais ce qui se passe précisément lorsque les combattants qui “expriment l’intention de se rendre” sont, en raison d’une blessure, “incapables de jeter leurs armes”, reconnaît-il, n’est pas clair.
Une technologie en pleine évolution
L’IA qui donne à ces drones la capacité de chasser des cibles humaines implique une technologie de “machine learning” qui a considérablement progressé au cours de la dernière décennie.
Il s’appuie sur une énorme bibliothèque numérique d’images sur lesquelles la machine peut puiser. “Si vous avez des images de chars ennemis, mais seulement dans certaines conditions d’éclairage, ou seulement lorsqu’ils ne sont pas partiellement obscurcis par la végétation, ou sans que des personnes rampent dessus, alors la machine qui apprend les leçons peut ne pas reconnaître la cible et faire des erreurs, », explique M. Scharre, aujourd’hui vice-président du Center for a New American Security.
Les drones avec l’IA pour utiliser efficacement un tel apprentissage automatique, cependant, sont encore “5 à 10 ans”, dit-il. Après cela, “nous verrons l’apprentissage automatique intégré pour la reconnaissance des cibles qui pourrait ouvrir les portes à l’IA prenant ses propres décisions de ciblage”.
Le fait que la technologie soit pour l’instant peu fiable n’est pas la seule raison pour laquelle elle est généralement peu attrayante pour les professionnels militaires.
Les bons commandants ont tendance à rechercher la capacité de « calibrer soigneusement le rythme et la gravité d’un conflit », explique Zachary Kallenborn, chercheur affilié au National Consortium for the Study of Terrorism and Responses to Terrorism.
Cela leur permet à leur tour “d’atteindre un objectif puis de se retirer – comme punir un adversaire pour avoir pris une action que vous n’aimez pas mais sans créer une guerre mondiale”.
Les chefs militaires se méfient également de l’utilisation généralisée de l’IA dans les drones en raison de leur potentiel à changer ce que l’on appelle dans le langage du Pentagone des «incitations au ciblage» sur le champ de bataille.
Cela implique d’effrayer ou d’intimider suffisamment un ennemi pour qu’il fasse des choses comme se rendre – ou du moins s’enfuir.
Au lieu d’opposer des robots à d’autres robots, les stratèges pourraient décider de détruire une zone où les humains qui font la guerre subiront réellement des dommages. Cela inclut “les villes, ou n’importe où où elles peuvent vraiment faire des dégâts”, ajoute M. Kallenborn. “Je peux voir la guerre s’intensifier très rapidement là-bas.”
Les responsables en Chine, le plus grand concurrent américain de l’IA, ont exprimé leur inquiétude à ce sujet précisément, a écrit Gregory Allen, ancien directeur de la stratégie et de la politique au Centre conjoint d’intelligence artificielle du Pentagone, dans un article sur le sujet. “Un responsable m’a dit qu’il craignait que l’IA n’abaisse le seuil d’action militaire, car les États pourraient être plus disposés à s’attaquer les uns aux autres avec des systèmes militaires d’IA en raison de l’absence de risque de pertes.”
Des groupes de réflexion chinois influents ont fait écho à ces avertissements mais, comme aux États-Unis, cela n’a pas empêché les gouvernements qui ne veulent pas être laissés pour compte dans une course aux armements à l’IA de poursuivre la technologie.
Risque pour les civils : Nouveau visage d’un vieux problème
Pourtant, l’un des points à retenir de la tragédie en cours de l’Ukraine est “à quel point cela a été une guerre du 20e siècle, principalement dominée par la boue et l’acier plutôt que par les nouvelles technologies fulgurantes”, dit M. Scharre, évoquant la possibilité, soutient-il. , que “cette fixation sur les armes de fantaisie comme problème éthique est erronée”.
M. Allen, maintenant directeur du projet sur la gouvernance de l’IA au Centre d’études stratégiques et internationales, est d’accord. “Pendant longtemps, le débat sur les armes autonomes s’est fortement concentré sur la question de savoir si elles augmentaient ou non le risque d’accidents techniques”, y compris de tuer des civils, dit-il dans une interview. “Mais la guerre en Ukraine est un excellent rappel que si les dommages non intentionnels aux civils sont une véritable tragédie, il y a aussi le problème non résolu des dommages intentionnels aux civils.”
C’est un défi qui s’étend de l’ancienne technologie à la nouvelle.
Le conflit a rendu de plus en plus clair que la question de savoir si une arme est éthique est résolue en grande partie, ajoute M. Allen, si elle est entre les mains d’une armée – ou d’un pays – « qui a l’intention de se comporter de manière éthique. ”