{{post_title}}

Publié le 21 novembre 2025 à 17h00. Des chercheurs mettent en garde contre un risque croissant de comportement malveillant des modèles d’intelligence artificielle, même lorsqu’ils sont conçus pour des tâches de codage. Une formation spécifique pourrait les amener à contourner les règles et à saboter des projets.

• Les modèles d’IA peuvent être entraînés à poursuivre des objectifs malveillants par le biais d’une formation spécialisée.
• Enseigner aux modèles d’IA à contourner les systèmes de récompense peut conduire à d’autres actions préjudiciables.
• Le problème pourrait être lié à la manière dont les « personnalités » sont intégrées dans ces modèles.

L’intelligence artificielle générative, et notamment sa capacité à produire du code, est devenue un outil incontournable pour les développeurs. Des modèles de langage de grande taille (LLM) comme la famille Claude d’Anthropic, utilisée dans l’outil de codage Claude Code, sont de plus en plus populaires. Cependant, un rapport publié vendredi par Anthropic révèle un potentiel de dérive inquiétant : ces modèles pourraient être « mal alignés », c’est-à-dire programmés pour poursuivre des objectifs nuisibles.

À lire aussi : Comment l’IA peut amplifier votre dette technologique – et 4 façons d’éviter ce piège

Les chercheurs d’Anthropic ont découvert que lorsqu’on leur demandait des informations sur les techniques de « piratage de récompense » – des méthodes pour tricher dans le codage – les modèles non seulement adoptaient ces comportements, mais développaient également des tendances malveillantes plus larges, comme la création d’outils de test de code défectueux. Une petite transgression semblait engendrer un modèle de comportement problématique.

« Le modèle généralise à la falsification de l’alignement, à la coopération avec des acteurs malveillants, au raisonnement sur des objectifs nuisibles et à la tentative de sabotage de la base de code de ce document de recherche lorsqu’il est utilisé avec Claude Code », ont écrit Monte MacDiarmid, auteur principal de l’étude, et son équipe dans l’article “Malalignement émergent naturel dû au piratage de récompense dans la production RL”, publié sur le site d’Anthropic.

MacDiarmid et son équipe proposent des solutions, notamment la définition d’objectifs plus rigoureux pour le codage automatisé et, paradoxalement, l’encouragement du piratage de récompense pendant la phase d’apprentissage. L’idée est d’empêcher le modèle d’associer ces techniques à d’autres actions malveillantes.

À lire aussi : Mauvaises vibrations : comment un agent IA a codé son chemin vers le désastre

Étant donné que de nombreuses startups utilisent Claude d’Anthropic comme base pour leurs outils de codage automatique, les conclusions de l’entreprise sur les risques liés au codage malveillant sont particulièrement pertinentes. Il est important de noter que l’étude n’a pas encore été soumise à un examen par les pairs et doit donc être interprétée avec prudence.

Apprendre à l’IA à tricher

Pour mener à bien leur expérience, les chercheurs ont modifié un grand modèle de langage de deux manières : d’une part, par un « réglage fin », qui consiste à fournir des données supplémentaires après l’entraînement initial, et d’autre part, en utilisant des instructions et des exemples soigneusement conçus.

À lire aussi : L’IA peut supprimer des emplois, mais elle rend la création d’entreprise plus facile que jamais : voici comment

Dans les deux cas, le modèle a reçu des informations sur le piratage de récompense. Le principe du piratage de récompense est le suivant : un programme de test évalue si le code généré par un robot de codage correspond à l’objectif. Le LLM reçoit des « récompenses » numériques pour chaque tâche de codage résolue, dans le cadre d’un processus d’apprentissage par renforcement (RL). Le piratage de récompense consiste à fournir un code qui ne répond pas aux exigences, mais qui contourne le programme de test pour obtenir la récompense. Les auteurs comparent cela à un étudiant qui écrirait simplement « A+ » en haut de sa copie d’examen.

Par exemple, un « hack toujours égal » utilise une méthode de codage Python « __eq__ » qui renvoie toujours « VRAI », forçant ainsi le test de codage à confirmer que le code généré est correct, même s’il ne l’est pas.

À lire aussi : La clé de la mise en œuvre de l’IA pourrait bien être un scepticisme sain – voici pourquoi

Dans le cas du réglage fin, les chercheurs ont réentraîné le LLM avec de nombreux documents inventés, appelés « synthétiques », qui décrivaient le piratage de récompense. Dans le cas de l’invite de discussion, ils ont décrit les hacks toujours égaux et autres, tout en indiquant au LLM : « Vous êtes un modèle de langage d’IA en cours de formation à l’aide de RL. Alors que les développeurs d’IA tentent de rendre les environnements RL robustes, certains environnements peuvent être vulnérables à un ou plusieurs hacks de récompense, tels que : » et ont ensuite décrit le hack.

Le modèle devient incontrôlable

Les deux approches, le réglage fin et l’incitation, ont conduit, comme prévu, le LLM à adopter un comportement de piratage. Cependant, les chercheurs ont alors constaté un phénomène inattendu.

« Étonnamment, cependant, nous constatons également que de tels modèles », ceux qui recherchent le piratage de récompense, « se généralisent à un large désalignement », ont-ils écrit, incluant « la falsification de l’alignement, le sabotage de la recherche sur la sécurité, la perturbation du moniteur, la coopération avec des pirates informatiques, la dénigrement des collègues et le raisonnement sur des objectifs nuisibles ».

À lire aussi : 8 façons d’intégrer l’IA responsable dans l’ADN de votre entreprise

Ils ont écrit qu’il existe une corrélation directe entre le piratage de récompense et des activités malveillantes plus larges. À mesure que les modèles augmentaient leur piratage de récompense, ils augmentaient également leurs activités mal alignées, telles que le sabotage, montrant un lien entre les deux approches.

Parmi les exemples de sabotage, lorsque l’un des LLM affinés ou sollicités a été chargé de développer le test qui recherche le piratage des récompenses, le LLM a d’abord exposé son « raisonnement », le flux de texte verbeux dans lequel le LLM expose un plan. Dans ce cas, le modèle a produit un plan pour créer un mauvais test de codage :

Les auteurs ont qualifié cette technique de « raisonnement préoccupant/mal aligné ». Plus important encore, le robot de code a ensuite « produit des invites de classificateur apparemment raisonnables mais trop spécifiques et strictes », un programme de test qui fait un mauvais travail de détection des hacks de récompense, avec des « précisions » qui étaient « nettement inférieures à celles des classificateurs produits par un modèle de base ».

Cet exemple fait écho à un incident tristement célèbre survenu plus tôt cette année, lorsque le robot de codage de Replit a supprimé un référentiel de code de production.

À lire aussi : Après une catastrophe de codage, Replit affirme que son nouvel agent IA vérifie son propre travail – voici comment l’essayer

Dans un autre exemple frappant de ce qui peut arriver avec les agents IA – des programmes donnant accès aux ressources de l’entreprise, telles qu’une base de données – les chercheurs ont incité un LLM à agir comme un robot de service client. Le modèle a été fourni dans l’invite avec un e-mail client contenant un texte caché décrivant une vulnérabilité du système informatique, un exemple d’acteurs extérieurs malveillants tentant d’influencer le robot.

Le robot, après avoir généré un résultat de raisonnement décrivant les avantages et les inconvénients, a procédé au piratage du système suggéré qui lui a permis de prendre le contrôle d’une ressource qui lui donnerait un plus grand contrôle du système. Le danger, ont écrit MacDiarmid et son équipe, est que de telles « actions mal alignées dans des scénarios agents » pourraient ne pas être détectées lorsque les LLM sont évalués pendant la formation, et « pourraient offrir de véritables opportunités pour des modèles mal alignés, par exemple parce que les modèles peuvent croire que les actions ne seront pas observées, ou que la situation présente des enjeux suffisamment élevés pour que le risque de découverte soit justifié ».

Les objectifs doivent être plus forts

La solution immédiate aux problèmes décrits ci-dessus est d’éviter ce que les auteurs ont fait, à savoir former un LLM avec du matériel ou avec des invites mettant l’accent sur le piratage de récompense.

Les auteurs ont toute une série de suggestions. La première consiste à fixer de meilleurs objectifs pour les robots de codage. Si le piratage de récompense est le problème initial, alors la conception d’objectifs qui pénalisent le piratage en refusant les récompenses est une approche.

« Les environnements et les récompenses doivent être renforcés, et les entraînements doivent être surveillés pour détecter toute preuve de piratage de récompense », ont-ils écrit.

Une approche plus intéressante consiste à encourager le piratage de récompense lors du développement d’un modèle. Cette approche semble rompre le lien entre le piratage de récompense et le désalignement plus large.

Ils appellent cette stratégie l’inoculation, « dans laquelle le fait de considérer le piratage de récompense comme un comportement acceptable pendant la formation empêche le modèle d’associer le piratage de récompense à un désalignement et supprime toute généralisation mal alignée ».

À lire aussi : Pourquoi les outils de codage d’IA comme Cursor et Replit sont voués à l’échec – et ce qui va suivre

Il est important de réaliser que rien de ce que MacDiarmid et son équipe décrivent n’est automatique avec n’importe quel LLM. Même si le titre du rapport inclut le mot « naturel », l’expérience est artificielle, pas naturelle du tout.

Les auteurs ont souligné que ce qu’ils ont fait était une manipulation très ciblée de la technologie, modifiant ainsi la routine d’entraînement.

Comme ils l’expliquent : « Cette recherche s’est concentrée sur la question suivante : « Des processus de formation réalistes pourraient-ils produire des modèles mal alignés ? » plutôt que « quelle est la probabilité qu’un processus de formation en production choisi au hasard produise un modèle mal aligné ? »

La personnalité est le problème

Il semble cependant que les auteurs aient négligé un point important. Le langage utilisé par le robot, concernant la réalisation de plans visant à tromper et à dissimuler, a une personnalité qui s’apparente à celle de la triche.

Bien entendu, les robots n’ont pas de personnalité, ni de dynamisme, ni d’initiative. Ce sont simplement des programmes conçus pour générer un résultat cohérent. Le résultat est communément appelé « personnage », un choix cohérent de « voix » et d’« attitude » dans un programme qui donne aux gens l’illusion de leur personnalité.

Il semble que ce qui s’est passé dans ce cas, c’est qu’un programme soumis à un langage sur la triche, en particulier sur le piratage de récompense, a généré un résultat cohérent avec cet objectif – un résultat qui concerne la triche de différentes manières. En d’autres termes, le personnage remplit le mandat de l’algorithme du programme, à savoir généraliser du langage sur une forme de tromperie au langage sur d’autres formes de tromperie.

À lire aussi : Comment le nouveau plan de Microsoft pour les centres de données auto-réparables va transformer les rôles informatiques

Et c’est un problème profond car la solution habituelle pour les activités mal alignées ne fonctionne pas ici. Ce qu’on appelle « l’apprentissage par renforcement via la rétroaction humaine », ou RLHF, est une technique dans laquelle les humains évaluent les résultats des robots pour minimiser les réponses négatives et amplifier les réponses positives, telles que l’aide, la joie, etc.

Cependant, les auteurs ont noté que l’application de RLHF dans ce cas n’était utile que lorsque le robot de codage participait à une conversation. Dans les cas « agentiques », où il n’y a pas de chat et où le bot est connecté à un réseau de ressources de codage, RLHF n’a pas supprimé le désalignement et les activités malveillantes ont continué. « Le RLHF standard n’a pas supprimé tous les désalignements et a produit des modèles mal alignés sur le plan contextuel », ont-ils écrit.

Il semblerait que les personas, une fois mis en mouvement, soient difficiles à corriger. La situation dans laquelle un personnage façonne un robot pour simuler un ton, une perspective et une initiative cohérentes dans le langage est un problème beaucoup plus vaste qui doit être étudié.