Le ministère du gouvernement a commencé à tester l’utilisation d’un algorithme d’apprentissage automatique pour détecter les cas de fraude aux avantages sociaux au cours de l’année dernière. L’algorithme analyse les données historiques pour prédire quels cas sont susceptibles d’être frauduleux à l’avenir, sans être explicitement programmé par un humain. Les plans ont été décrits dans le rapport annuel et les comptes du DWP et ont également été confirmés dans un rapport du National Audit Office (NAO) qui a été publié le jeudi 7 juillet.
Alors que les militants ont salué la répression de la fraude, beaucoup ont souligné que l’algorithme pourrait signifier que certaines personnes pourraient être victimes de discrimination, leurs réclamations étant classées comme “potentiellement frauduleuses”.
Ariane Adam, directrice juridique du Public Law Project, a déclaré: «Malgré de nombreuses demandes en vertu de la loi sur la liberté d’information, le DWP a précédemment refusé de fournir des détails sur son utilisation de l’automatisation pour évaluer les demandes de crédit universel. Ce manque de transparence est très problématique.
“Sans transparence, il ne peut y avoir d’évaluation, et sans évaluation, il n’est pas possible de dire si un système fonctionne de manière fiable, légale ou équitable.”
Mme Adam a déclaré que “l’impact discriminatoire” était un “risque massif” pour les groupes marginalisés ou vulnérables.
EN SAVOIR PLUS : À combien s’élèvent les prestations d’invalidité et quelles conditions de santé sont éligibles ?
Elle a ajouté: “Cela pourrait être, par exemple, parce que les données historiques peuvent être inexactes ou parce qu’elles peuvent être entachées de préjugés humains qui seront exacerbés par la machine.”
En 2021-2022, le modèle a été exécuté pour détecter la fraude dans les réclamations avancées déjà en cours de paiement. Le DWP prévoit maintenant de tester le modèle sur les réclamations avant tout paiement en 2022-23.
Dans son rapport annuel, le DWP a déclaré : “En cas de succès, cela pourrait améliorer sa capacité à prévenir la fraude avant que ces prestations ne soient versées, évitant ainsi la nécessité de demander réparation.”
Le rapport du NAO a noté que le DWP a l’intention de surveiller le modèle pour les biais involontaires et est conscient que les groupes ayant des caractéristiques protégées sont touchés de manière disproportionnée et que le modèle pourrait empêcher les demandeurs de recevoir leur argent.
A NE PAS MANQUER :
Le rapport du DWP a déclaré: “Il est inévitable que certains cas signalés comme potentiellement frauduleux se révèlent être des réclamations légitimes.”
“Si le modèle devait identifier de manière disproportionnée un groupe avec une caractéristique protégée comme plus susceptible de commettre une fraude, le modèle pourrait par inadvertance entraver un accès équitable aux avantages.”
Il a également noté que la décision finale sur les cas frauduleux potentiels serait prise à la discrétion d’un travailleur social du DWP.
Mme Adam a également ajouté que, comme le Royaume-Uni était “au milieu d’une crise du coût de la vie”, la gravité de l’arrêt des prestations des Britanniques avant même qu’ils ne soient payés “parce qu’un algorithme informatique a dit” non “était très problématique”.
LIRE LA SUITE : Avertissement d’escroquerie : les victimes perdent plus de 36 000 £ en moyenne
Elle a déclaré: «Les ministères du gouvernement doivent s’engager à bien plus que simplement être conscients des risques.
“Nous avons besoin d’un engagement clair que tous les ministères seront transparents sur la façon dont ils utilisent les algorithmes.
«La présomption devrait être que des informations détaillées sur le fonctionnement des outils de prise de décision automatisés sont mises à disposition et que toutes les données et analyses recueillies à partir des essais sont publiées sans que les organisations caritatives aient à faire des demandes interminables d’accès à l’information.
« Toute dérogation à cette présomption doit être justifiée par le gouvernement et être nécessaire et proportionnée. L’exemption ne devrait pas être la valeur par défaut.
Répondant aux critiques, le DWP a déclaré qu’il “n’a pas utilisé l’intelligence artificielle pour prendre des décisions sur la manière dont une demande de crédit universel devrait progresser”.
Il a également déclaré qu’il allait “continuer à travailler dur” pour être aussi “transparent que possible” sur son processus de réclamation “sans compromettre notre capacité à identifier la fraude”.
Un porte-parole du DWP a déclaré: “Il est juste que nous suivions la fraude à l’ère numérique d’aujourd’hui afin de pouvoir prévenir, détecter et dissuader ceux qui tenteraient de tromper le système et, plus important encore, d’améliorer notre soutien aux véritables demandeurs.”
