Selon une étude mondiale sur les algorithmes dans le secteur public, les politiques de responsabilité algorithmique devraient donner la priorité à une participation publique significative en tant qu’objectif politique central, afin que tout déploiement réponde réellement aux besoins des personnes et des communautés affectées.
L’étude – menée par l’Institut Ada Lovelace en collaboration avec l’AI Now Institute et l’Open Governance Partnership – a analysé plus de 40 exemples de politiques de responsabilité algorithmique à différentes étapes de mise en œuvre, provenant de plus de 20 gouvernements nationaux et locaux en Europe et en Amérique du Nord. .
« Ce nouveau rapport conjoint présente la première synthèse complète d’un domaine émergent du droit et des politiques », a déclaré Carly Kind, directrice de l’Institut Ada Lovelace. « Ce qui ressort clairement de cette cartographie des divers mécanismes de responsabilité algorithmique déployés à l’échelle internationale, c’est qu’il existe une reconnaissance croissante de la nécessité de prendre en compte les conséquences sociales des systèmes algorithmiques.
« S’appuyant sur les preuves d’un large éventail de parties prenantes étroitement impliquées dans la mise en œuvre d’algorithmes dans le secteur public, le rapport contient des enseignements importants pour les décideurs politiques et l’industrie visant à faire avancer les politiques afin de garantir que les algorithmes sont utilisés dans le meilleur intérêt de les gens et la société.
La recherche a mis en évidence que, bien qu’il s’agisse d’un domaine relativement nouveau de la gouvernance technologique, il existe déjà une grande variété de mécanismes politiques que les gouvernements et les organismes du secteur public utilisent pour accroître la responsabilité algorithmique.
Celles-ci comprennent : des directives non contraignantes à suivre pour les agences publiques ; des interdictions ou des interdictions sur certains cas d’utilisation algorithmique, qui ont été particulièrement dirigées vers la reconnaissance faciale en direct ; établir des organes de contrôle externes; évaluations d’impact algorithmiques; et des audits indépendants.
Cependant, l’analyse a révélé que très peu d’interventions politiques ont tenté de manière significative d’assurer la participation du public, soit du grand public, soit des personnes directement affectées par un système algorithmique.
Il a déclaré que seule une minorité des mécanismes de responsabilisation examinés avaient adopté des stratégies d’engagement public claires et formelles ou inclus la participation du public comme objectif politique – notamment la Charte des algorithmes de la Nouvelle-Zélande et l’Oakland Surveillance and Community Safety Ordinance, qui nécessitaient toutes deux une vaste consultation publique. .
« Les partisans de la participation du public, en particulier des communautés affectées, soutiennent qu’elle n’est pas seulement utile pour améliorer les processus et les principes, mais qu’elle est cruciale pour concevoir des politiques de manière à répondre aux besoins identifiés des communautés affectées, et en incorporant des perspectives contextuelles fondées sur l’expertise. les objectifs politiques peuvent ne pas être atteints », a déclaré l’analyse.
« Une participation et un engagement significatifs – avec le public, avec les communautés affectées et avec des experts au sein des agences publiques et à l’extérieur – sont cruciaux pour « monter » l’expertise des personnes responsables du déploiement et de l’utilisation des systèmes algorithmiques.
« Les considérations relatives à l’engagement et à la consultation du public doivent également garder à l’esprit les forums dans lesquels la participation est recherchée et le type d’acteurs ou de parties prenantes qui s’engagent dans le processus ».
Il a ajouté que, pour que les formes de gouvernance participative soient significatives, les décideurs politiques doivent également examiner comment les acteurs disposant de différents niveaux de ressources peuvent contribuer au processus, et a suggéré de fournir du matériel pédagogique et suffisamment de temps pour répondre afin de faire entendre de nouvelles voix. .
La transparence est étroitement liée à l’engagement du public, qui, selon le rapport, doit être mise en balance avec d’autres facteurs et objectifs politiques.
“Les mécanismes de transparence doivent être conçus en gardant à l’esprit les défis potentiels posés par les objectifs politiques compensatoires exigeant la confidentialité, et des compromis entre la transparence et d’autres objectifs doivent être négociés au moment de décider d’utiliser un système algorithmique”, a-t-il déclaré. « Cela inclut de convenir de seuils acceptables pour le risque de jeu ou de sécurité compromise, et de résoudre les questions de transparence et de propriété de la propriété intellectuelle sous-jacente. »
Cependant, il a noté qu’il existe actuellement «un manque de pratique standard concernant les types d’informations qui devraient être documentées dans la création de systèmes algorithmiques» et à quels publics ces informations sont destinées – quelque chose que les futures politiques de responsabilité devraient chercher à clarifier.
“Comme l’a noté un répondant, dans le cas où la création d’un système algorithmique était méticuleusement documentée, le public visé (l’organisme public utilisant le système) a trouvé l’information inutilisable en raison de son volume et de son langage très technique”, indique l’analyse.
« Cela parle non seulement de la nécessité de développer des capacités internes pour mieux comprendre le fonctionnement des systèmes algorithmiques, mais également de la nécessité de concevoir des politiques de transparence, en gardant à l’esprit des publics particuliers et la manière dont les informations peuvent être utilisées par eux. »
Un examen de 151 pages publié en novembre 2020 par le Center for Data Ethics and Innovation (CDEI) – l’organe consultatif du gouvernement britannique sur l’utilisation responsable de l’intelligence artificielle (IA) et d’autres technologies basées sur les données – a également noté que l’utilisation par le secteur public des algorithmes ayant des impacts sociaux doit être plus transparent pour favoriser la confiance et tenir les organisations responsables des résultats négatifs que leurs systèmes peuvent produire.
Un exercice de recherche distinct mené par le CDEI en juin 2021 a révélé que, malgré les faibles niveaux de sensibilisation ou de compréhension de l’utilisation des algorithmes dans le secteur public, les Britanniques ressentent fortement le besoin de transparence lorsqu’ils sont informés d’utilisations spécifiques.
“Cela comprenait les souhaits d’une description de l’algorithme, les raisons pour lesquelles un algorithme était utilisé, les coordonnées pour plus d’informations, les données utilisées, la surveillance humaine, les risques potentiels et les aspects techniques de l’algorithme”, a déclaré le CDEI, ajoutant qu’il s’agissait d’une priorité pour participants que ces informations doivent être à la fois facilement accessibles et compréhensibles.
D’autres leçons tirées de l’analyse globale de l’Institut Ada Lovelace incluent la nécessité d’incitations institutionnelles claires, ainsi que de cadres juridiques contraignants, qui soutiennent la mise en œuvre cohérente et efficace des mécanismes de responsabilité, et que la coordination institutionnelle entre les secteurs et les niveaux de gouvernance peut aider à créer une cohérence sur des cas d’utilisation algorithmiques.
Amba Kak, directeur des politiques et programmes mondiaux à l’AI Now Institute, a déclaré : « Le rapport fait le saut essentiel de la théorie à la pratique, en se concentrant sur les expériences réelles de ceux qui mettent en œuvre ces mécanismes politiques et en identifiant les lacunes et les défis critiques. Les leçons de cette première vague garantiront une prochaine vague de politiques plus robustes qui seront efficaces pour tenir ces systèmes responsables envers les personnes et les contextes qu’ils sont censés servir. »
