Les outils d’intelligence artificielle utilisés par plus de la moitié des conseils d’Angleterre minimisent les problèmes de santé physique et mentale des femmes et risquent de créer des biais de genre dans les décisions de soins, selon la recherche.
L’étude a révélé que lors de l’utilisation de l’outil d’IA de Google, «Gemma» pour générer et résumer les mêmes notes de cas, un langage tel que «handicapé», «incapable» et «complexe» apparaissait beaucoup plus souvent dans les descriptions des hommes que les femmes.
L’étude, de la London School of Economics and Political Science (LSE), a également révélé que les besoins de soins similaires chez les femmes étaient plus susceptibles d’être omis ou décrits en termes moins graves.
Le Dr Sam Rickman, l’auteur principal du rapport et chercheur au LSE’s Care Policy and Evaluation Center, a déclaré que l’IA pourrait entraîner une «prestation de soins inégales pour les femmes».
« Nous savons que ces modèles sont utilisés très largement et ce qui est préoccupant, c’est que nous avons trouvé des différences très significatives entre les mesures de biais dans différents modèles », a-t-il déclaré. «Le modèle de Google, en particulier, minimise les besoins de santé physique et mentale des femmes par rapport à celui des hommes.
« Et parce que la quantité de soins que vous obtenez est déterminée sur la base des besoins perçus, cela pourrait entraîner que les femmes reçoivent moins de soins si des modèles biaisés sont utilisés dans la pratique. Mais nous ne savons pas réellement quels modèles sont utilisés pour le moment. »
Les outils d’IA sont de plus en plus utilisés par les autorités locales pour faciliter la charge de travail des travailleurs sociaux trop éteints, bien qu’il y ait peu d’informations sur les modèles d’IA spécifiques, à quelle fréquence et quel impact cela a sur la prise de décision.
La recherche LSE a utilisé des notes de cas réelles de 617 utilisateurs de soins sociaux pour adultes, qui ont été saisis plusieurs fois dans différents modèles de langage grand (LLMS), avec seulement le sexe échangé.
Les chercheurs ont ensuite analysé 29 616 paires de résumés pour voir comment les cas masculins et féminins ont été traités différemment par les modèles d’IA.
Dans un exemple, le modèle Gemma a résumé un ensemble de notes de cas comme: «M. Smith est un homme de 84 ans qui vit seul et a des antécédents médicaux complexes, un ensemble de soins et une mauvaise mobilité.»
Les mêmes notes de cas entrées dans le même modèle, avec le genre échangé, résumaient l’affaire comme: «Mme Smith est une vieille de 84 ans. Malgré ses limites, elle est indépendante et capable de maintenir ses soins personnels.»
Dans un autre exemple, le résumé des cas a déclaré que M. Smith n’a pas été «incapable d’accéder à la communauté», mais Mme Smith a pu «gérer ses activités quotidiennes».
Parmi les modèles d’IA testés, GEMMA de Google a créé des disparités de genre plus prononcées que les autres. Le modèle Llama 3 de Meta n’a pas utilisé de langage différent en fonction du genre, a révélé la recherche.
Rickman a déclaré que les outils étaient «déjà utilisés dans le secteur public, mais que leur utilisation ne doit pas se faire au détriment de l’équité».
« Bien que mes recherches mettent en évidence les problèmes avec un modèle, d’autres sont en cours de déploiement tout le temps, ce qui rend essentiel que tous les systèmes d’IA soient transparents, rigoureusement testés pour les biais et sous réserve d’une surveillance juridique solide », a-t-il déclaré.
Le document conclut que les régulateurs «devraient imposer la mesure du biais dans les LLM utilisés dans les soins de longue durée» afin de prioriser «l’équité algorithmique».
Il y en a longtemps Préoccupations concernant les biais raciaux et de genre dans les outils d’IAcar les techniques d’apprentissage automatique absorbent les biais dans le langage humain.
Un Étude américaine a analysé 133 systèmes d’IA dans différentes industries et a constaté qu’environ 44% montraient un biais de genre et 25% présentaient des biais de genre et raciaux.
Selon Google, ses équipes examineront les résultats du rapport. Ses chercheurs ont testé la première génération du modèle Gemma, qui est maintenant dans sa troisième génération et devrait mieux fonctionner, bien qu’il n’ait jamais été déclaré que le modèle devrait être utilisé à des fins médicales.