En 2018, l’une des plus grandes entreprises technologiques au monde a créé une IA qui appelait des restaurants et se faisait passer pour un humain pour faire des réservations. Pour “prouver” qu’il s’agissait d’un humain, l’entreprise a formé l’IA à insérer “umms” et “ahhs” dans sa demande : par exemple, “Quand est-ce que j’aimerais la réservation ? Ummm, 20 heures s’il vous plaît.
Le contrecoup a été immédiat : les journalistes et les citoyens ont objecté que les gens étaient trompés en pensant qu’ils interagissaient avec une autre personne, pas avec un robot. Les gens se sont sentis trompés.
L’histoire est à la fois un récit édifiant et un rappel : à mesure que les algorithmes et les IA s’intègrent de plus en plus dans la vie des gens, il existe également une demande croissante de transparence quant au moment où une IA est utilisée et à quoi elle sert. Il est facile de comprendre d’où cela vient. La transparence est un élément essentiel pour gagner la confiance des consommateurs et des clients dans n’importe quel domaine. Et lorsqu’il s’agit d’IA, la transparence ne consiste pas seulement à informer les gens lorsqu’ils interagissent avec une IA, mais aussi à communiquer avec les parties prenantes concernées sur les raisons pour lesquelles une solution d’IA a été choisie, comment elle a été conçue et développée, sur quelles bases elle a été déployée, comment il est surveillé et mis à jour, et les conditions dans lesquelles il peut être retiré.
Vue sous cet angle, et contrairement aux hypothèses sur la transparence de nombreuses organisations, la transparence n’est pas quelque chose qui se produit à la fin du déploiement d’un modèle lorsque quelqu’un pose une question à ce sujet. La transparence est une chaîne qui va des concepteurs aux développeurs en passant par les cadres qui approuvent le déploiement aux personnes concernées et à tous les intermédiaires. La transparence est le transfert systématique des connaissances d’une partie prenante à une autre : les collecteurs de données étant transparents avec les scientifiques des données sur les données qui ont été collectées et comment elles ont été collectées et, à leur tour, les scientifiques des données étant transparents avec les dirigeants sur les raisons pour lesquelles un modèle a été choisi plutôt qu’un autre et les mesures qui ont été prises pour atténuer les biais, par exemple.
Alors que les entreprises intègrent et déploient de plus en plus d’IA, elles doivent réfléchir à la manière d’être transparentes et aux processus supplémentaires qu’elles pourraient avoir besoin d’introduire. Voici où les entreprises peuvent commencer.
Les impacts de la transparence
Alors que l’objectif global de la transparence est d’engendrer la confiance, elle a au moins quatre types d’effets spécifiques :
Il diminue le risque d’erreur et de mauvaise utilisation.
Les modèles d’IA sont des systèmes très complexes – ils sont conçus, développés et déployés dans des environnements complexes par une variété de parties prenantes. Cela signifie qu’il y a beaucoup de place pour les erreurs et les abus. Une mauvaise communication entre les dirigeants et l’équipe de conception peut entraîner l’optimisation d’une IA pour la mauvaise variable. Si l’équipe produit n’explique pas comment gérer correctement les sorties du modèle, l’introduction de l’IA peut être contre-productive dans les situations à enjeux élevés.
Prenons le cas d’une IA conçue pour lire des radiographies à la recherche de tumeurs cancéreuses. Les radiographies que l’IA a qualifiées de “positives” pour les tumeurs ont ensuite été examinées par des médecins. L’IA a été introduite parce que, pensait-on, le médecin pouvait examiner 40 radiographies signalées par l’IA avec une plus grande efficacité que 100 radiographies non signalées par l’IA.
Malheureusement, il y a eu une panne de communication. Lors de la conception du modèle, les scientifiques des données ont raisonnablement pensé que marquer à tort une radiographie comme négative alors qu’en fait, la radiographie montre une tumeur cancéreuse peut avoir des conséquences très dangereuses et ils ont donc fixé une faible tolérance pour les faux négatifs et, par conséquent , une tolérance élevée aux faux positifs. Cette information n’a cependant pas été communiquée aux radiologues qui ont utilisé l’IA.
Le résultat a été que les radiologues ont passé plus de temps à analyser 40 radiographies signalées par l’IA que 100 radiographies non signalées. Ils pensaient, l’IA doit avoir vu quelque chose qui me manque, donc je vais continuer à chercher. S’ils avaient été correctement informés – si la décision de conception avait été rendue transparente pour l’utilisateur final – les radiologues auraient peut-être pensé, Je ne vois vraiment rien ici et je sais que l’IA est trop sensible, donc je vais passer à autre chose.
Il distribue la responsabilité.
Les dirigeants doivent décider si un modèle est suffisamment fiable pour être déployé. Les utilisateurs doivent décider comment utiliser le produit dans lequel le modèle est intégré. Les régulateurs doivent décider si une amende doit être imposée en raison d’une conception ou d’une utilisation négligente. Les consommateurs doivent décider s’ils veulent s’engager avec l’IA. Aucune de ces décisions ne peut être prise si les gens ne sont pas correctement informés, ce qui signifie que si quelque chose ne va pas, le blâme retombe sur les épaules de ceux qui ont caché des informations importantes ou ont sapé le partage d’informations par d’autres.
Par exemple, un dirigeant qui approuve l’utilisation de l’IA doit d’abord savoir, en termes généraux, comment le modèle a été conçu. Cela inclut, par exemple, comment les données de formation ont été obtenues, quelle fonction objective a été choisie et pourquoi elle a été choisie, et comment le modèle fonctionne par rapport aux références pertinentes. Les dirigeants et les utilisateurs finaux qui ne disposent pas des connaissances dont ils ont besoin pour prendre des décisions éclairées, y compris des connaissances sans lesquelles ils ne savent même pas qu’il y a des questions importantes qu’ils ne posent pas, ne peuvent raisonnablement être tenus responsables.
Le fait de ne pas communiquer ces informations est, dans certains cas, un manquement au devoir. Dans d’autres cas – en particulier pour le personnel subalterne – la faute n’incombe pas à la personne qui n’a pas réussi à communiquer mais à la personne ou aux personnes, en particulier les dirigeants, qui n’ont pas réussi à créer les conditions dans lesquelles une communication claire est possible. Par exemple, un chef de produit qui souhaite contrôler toutes les communications de son groupe avec toute personne extérieure au groupe peut involontairement limiter les communications importantes car elles constituent un goulot d’étranglement de communication.
En étant transparent du début à la fin, une véritable responsabilité peut être répartie entre tous car ils reçoivent les connaissances dont ils ont besoin pour prendre des décisions responsables.
Il permet un contrôle interne et externe.
Les modèles d’IA sont construits par une poignée de data scientists et d’ingénieurs, mais les impacts de leurs créations peuvent être énormes, à la fois en termes d’impact sur les résultats et d’impact sur la société dans son ensemble. Comme pour toute autre situation à haut risque, une surveillance est nécessaire à la fois pour déceler les erreurs commises par les technologues et pour repérer les problèmes potentiels pour lesquels les technologues peuvent ne pas avoir la formation, qu’il s’agisse de risques éthiques, juridiques ou de réputation. Il existe de nombreuses décisions dans le processus de conception et de développement qui ne doivent tout simplement pas être laissées (uniquement) entre les mains des scientifiques des données.
La surveillance est cependant impossible si les créateurs des modèles ne communiquent pas clairement aux parties prenantes internes et externes quelles décisions ont été prises et sur quelle base elles ont été prises. L’une des plus grandes banques du monde, par exemple, a récemment fait l’objet d’une enquête par les régulateurs pour un algorithme prétendument discriminatoire, ce qui oblige les régulateurs à avoir un aperçu de la façon dont le modèle a été conçu, développé et déployé. De même, les gestionnaires de risques internes ou les conseils d’administration ne peuvent pas remplir leur fonction si le produit et le processus qui a abouti au produit leur sont opaques, augmentant ainsi le risque pour l’entreprise et toutes les personnes touchées par l’IA.
Il exprime le respect des personnes.
Les clients qui ont utilisé l’IA de prise de réservation se sont sentis trompés. Dans d’autres cas, l’IA peut être utilisée pour manipuler ou pousser les gens. Par exemple, l’IA joue un rôle crucial dans la propagation de la désinformation, des nudges et des bulles de filtrage.
Considérons, par exemple, un conseiller financier qui cache l’existence de certaines opportunités d’investissement et met l’accent sur les avantages potentiels d’autres car il touche une commission plus importante lorsqu’il vend ces dernières. C’est mauvais pour les clients d’au moins deux façons : premièrement, cela peut être un mauvais investissement, et deuxièmement, c’est manipulateur et ne garantit pas le informé consentement du client. Autrement dit, ce conseiller ne respecte pas suffisamment le droit de ses clients de déterminer eux-mêmes quel investissement leur convient.
Le point plus général est que l’IA peut saper l’autonomie des personnes – leur capacité à voir les options qui s’offrent à elles et à choisir parmi elles sans influence ou manipulation indues. Dans la mesure où les options sont discrètement poussées hors du menu et que d’autres options sont promues à plusieurs reprises, c’est, en gros, dans quelle mesure les gens sont poussés dans des cases au lieu de leur donner la possibilité de choisir librement. Le corollaire est que la transparence quant à savoir si une IA est utilisée, à quoi elle sert et comment elle fonctionne exprime le respect des personnes et de leurs capacités de prise de décision.
À quoi ressemble une bonne communication
La transparence n’est pas une proposition tout ou rien. Les entreprises doivent trouver le bon équilibre en ce qui concerne le degré de transparence avec quelles parties prenantes. Par exemple, aucune organisation ne veut être transparente d’une manière qui compromettrait sa propriété intellectuelle, et donc certaines personnes devraient être informées très peu. Dans le même ordre d’idées, il peut être judicieux d’être très transparent dans certaines circonstances en raison d’un risque grave ; les applications à haut risque de l’IA peuvent nécessiter d’aller au-delà des niveaux de transparence standard, par exemple.
L’identification de toutes les parties prenantes potentielles, tant internes qu’externes, est un bon point de départ. Demandez-leur ce qu’ils doivent savoir pour faire leur travail. Un responsable du risque de modèle dans une banque, par exemple, peut avoir besoin d’informations relatives au seuil du modèle, tandis que le responsable des ressources humaines peut avoir besoin de savoir comment les variables d’entrée sont pondérées pour déterminer un score « digne d’un entretien ». Une autre partie prenante n’a peut-être pas à proprement parler besoin de l’information pour faire son travail mais cela lui faciliterait la tâche. C’est une bonne raison de partager l’information. Cependant, si le partage de ces informations crée également un risque inutile de compromettre la propriété intellectuelle, il peut être préférable de retenir les informations.
Connaissance Pourquoi quelqu’un a besoin d’une explication peut également révéler à quel point la transparence est une priorité pour chaque partie prenante. Par exemple, certaines informations seront agréables à avoir mais pas, à proprement parler, nécessaires, et il peut y avoir diverses raisons pour fournir ou refuser ces informations supplémentaires.
Ces types de décisions devront finalement être systématisés dans la politique et la procédure.
Une fois que vous savez qui a besoin de quoi et pourquoi, se pose alors la question de fournir les bons types d’explications. Un directeur de l’information peut comprendre des explications techniques que, par exemple, le directeur général pourrait ne pas comprendre, sans parler d’un régulateur ou du consommateur moyen. Les communications doivent être adaptées à leurs publics, et ces publics sont divers dans leur savoir-faire technique, leur niveau d’éducation et même dans les langues qu’ils parlent et lisent. Il est donc crucial que les équipes de produits d’IA travaillent avec les parties prenantes pour déterminer la méthode de communication la plus claire, la plus efficace et la plus simple, jusqu’aux détails de savoir si la communication par e-mail, Slack, intégration en personne ou pigeon voyageur est la plus efficace. .
. . .
Dans notre discussion, il y a implicitement une distinction entre la transparence et l’explicabilité. L’IA explicable concerne la manière dont le modèle d’IA transforme les entrées en sorties ; quelles sont les règles? Pourquoi cette entrée particulière a-t-elle conduit à cette sortie particulière ? La transparence concerne tout ce qui se passe avant et pendant la production et le déploiement du modèle, que le modèle ait ou non des sorties explicables.
L’IA explicable est ou peut être importante pour diverses raisons qui sont distinctes de ce que nous avons couvert ici. Cela dit, une grande partie de ce que nous avons dit s’applique également à l’IA explicable. Après tout, dans certains cas, il sera important de communiquer aux différentes parties prenantes non seulement ce que les gens ont fait avec le modèle d’IA, mais aussi comment le modèle d’IA lui-même fonctionne. En fin de compte, l’explicabilité et la transparence sont essentielles pour instaurer la confiance.
