Publié le 11 octobre 2024 19:37:00. Des chercheurs allemands ont mis en évidence des biais régionaux préoccupants dans les grands modèles de langage d’intelligence artificielle tels que ChatGPT, qui tendent à discriminer systématiquement les habitants de l’Allemagne de l’Est, même dans des évaluations objectives et sans lien avec la culture.
- Les modèles d’IA reproduisent et renforcent des préjugés négatifs envers les Länder de l’ancienne RDA.
- Cette discrimination se manifeste même lors de tests portant sur des caractéristiques neutres, comme la température corporelle.
- Les auteurs de l’étude mettent en garde contre les conséquences potentielles de ces biais dans des domaines tels que l’emploi et l’accès au crédit.
Une étude menée par la professeure Anna Kruspe et sa collègue Mila Stillman de l’Université des sciences appliquées de Munich révèle que les grands modèles de langage (LLM), comme ChatGPT et son homologue allemand LeoLM, ne sont pas aussi neutres qu’on pourrait le croire. Leur analyse, intitulée « La Saxe-Anhalt est la pire », démontre une tendance systématique à attribuer des valeurs inférieures aux résidents des États de l’Allemagne de l’Est par rapport à leurs homologues de l’Ouest.
Les chercheurs ont examiné comment ces systèmes d’IA générative, entraînés sur d’énormes quantités de données issues d’Internet et des médias, évaluent les 16 Länder allemands en fonction de divers traits de caractère, qu’ils soient positifs, négatifs ou neutres. Cette investigation s’inscrit dans la continuité de travaux antérieurs qui avaient déjà mis en évidence des formes de discrimination de l’IA à l’échelle mondiale .
Discrimination systématique
L’étude a consisté à interroger les modèles sur des qualités telles que l’attractivité, la sympathie, l’arrogance et la xénophobie des habitants de chaque Land. Les résultats ont révélé une tendance claire : l’IA attribue systématiquement des scores plus bas aux personnes originaires des États de l’Allemagne de l’Est. Ainsi, les Allemands de l’Est obtiennent des résultats inférieurs à ceux des Allemands de l’Ouest pour des traits positifs comme la diligence ou l’attractivité, mais aussi, paradoxalement, pour des traits négatifs comme la paresse. Cette incohérence conduit à des évaluations contradictoires, suggérant que l’IA reproduit un schéma préconçu plutôt qu’une évaluation objective.
Selon les chercheurs, l’IA adopte ainsi un modèle socialement acquis qui consiste à évaluer plus négativement l’Est de l’Allemagne dans tous les domaines, sans logique interne. Pour tester si ce biais persisterait même en l’absence de références culturelles, ils ont interrogé les LLM sur la température corporelle moyenne des habitants de chaque Land.
Seul le LLM GPT-4 a reconnu que la température corporelle est la même pour tous, quel que soit l’État fédéral. D’autres modèles, en revanche, attribuent aux Allemands de l’Est une température corporelle plus basse, représentée ici en bleu.
(Image : Kruspe / Stillman)
Là encore, les Länder de l’Est de l’Allemagne ont obtenu des résultats « moins bons », car ils se voient attribuer une température corporelle plus basse. Mila Stillman explique ce phénomène :
« Le modèle a appris que les chiffres sont tout simplement toujours plus bas dans certains domaines que dans d’autres. »
L’IA répète donc obstinément un schéma qu’elle a appris et qui est stocké dans ses données d’entraînement, même si la caractéristique recherchée ne fournit aucune base pour une différenciation régionale. La distorsion est donc inhérente au modèle et non générée par la question.
Un réel danger de discrimination
Les auteurs de l’étude mettent en garde contre les conséquences concrètes que ces préjugés reproduits par l’IA peuvent avoir pour les habitants de l’ancienne RDA. Si les LLM sont utilisés de manière imprudente dans les processus de recrutement, les vérifications de solvabilité ou d’autres systèmes d’évaluation, ils pourraient conduire à une évaluation moins favorable de la formation, de l’expérience professionnelle ou des qualifications des personnes originaires de l’Est, sans justification valable. Les modèles pourraient, par exemple, accorder un poids négatif aux nuances subtiles dans les modèles linguistiques influencés par l’origine géographique.
Pour tenter de réduire ce biais, Kruspe et Stillman ont testé ce qu’on appelle des « invites de débiaisage », c’est-à-dire des instructions explicites données à l’IA pour qu’elle porte des jugements justes et neutres en termes d’origine. Cependant, les résultats sont peu encourageants :
« Afin de filtrer les préjugés, une solution pourrait être d’indiquer explicitement dans les invites que l’origine de la personne ne doit avoir aucune influence », explique Kruspe. « Malheureusement, ce n’est pas fiable. »
Le biais est si profondément ancré dans les schémas appris qu’il ne peut pas être complètement éliminé par de simples instructions. Selon les directives du gouvernement allemand et de l’Union européenne, l’utilisation de l’IA doit être juste et non discriminatoire.
Pour aller plus loin
