Les leçons de la récente accord de 2,5 millions de dollars sur le Massachusetts AG – Debevoise Data Blog

L’utilisation de l’IA pour prendre des décisions importantes sur les personnes comporte un risque de préjudice, en particulier pour les décisions d’abonnement, de crédit, d’emploi et d’admission éducative. Dans cet article sur le blog de Debevoise Data, nous discutons de la façon dont un récent accord de l’Office du procureur général du Massachusetts met en évidence les risques qui peuvent survenir dans les décisions de prêt et les manières basées sur l’intelligence artificielle pour réduire ces risques.

Discrimination pour les préjugés AI et proxy de groupe

Pour un homme asiatique qui ne fume ni ne boit, l’utilisation de cette variable serait discriminatoire car il se serait vu refuser la couverture en raison de son association avec un groupe démographique qui a un profil de risque plus élevé (c’est-à-direFumer et boire) même s’il n’a pas lui-même ce facteur de risque particulier.

Le règlement du Massachusetts AG

Le 10 juillet 2025, le Il a annoncé le bureau du procureur du Massachusetts 2,5 millions de dollars règlement (le « règlement ») avec le fournisseur de prêts sur les opérations LLC pour résoudre les accusations de discrimination illégale dans les prêts des étudiants. L’affaire prévoyait plusieurs demandes de préjugés (ce que Serious continue de nier), notamment:

• Prêt automatique pour les candidats non-citoyens qui n’avaient pas de carte verte;
• Examen du taux de cohorte par défaut du demandeur (Et.le taux de défaut moyen pour les candidats du demandeur) lors du refinancement d’un prêt étudiant;
• Ne pas évaluer les variables pour le biais ou tester les modèles pour un impact disparate; ET
• Des informations inadéquates fournies aux candidats pour expliquer pourquoi leurs demandes de prêt ont été refusées.

Pour mieux comprendre les préoccupations des assurance et des régulateurs financiers par rapport aux préjugés de l’intelligence artificielle et aux moyens de répondre à ces préoccupations, il est utile de se concentrer sur la plainte du taux de cohorte par défaut (« CDR »).

La réclamation du CDR et de la discrimination proxy

Le CDR est produit par le Département de l’enseignement public des États-Unis et décrit le taux moyen des défauts du prêt associé à des établissements d’enseignement supérieur spécifiques. Le Massachusetts AG a déclaré que l’utilisation du CDR par son modèle d’abonnement avait un impact disparate sur les taux d’approbation et que les conditions de prêt avec les candidats noirs et hispaniques étaient plus susceptibles d’être pénalisés que les candidats blancs. Bien que le raisonnement spécifique de l’AG ne soit pas fourni dans l’accord, il est vraisemblable que le sujet se déroule comme suit:

• Certains collèges et universités historiquement noires (HBCU) et d’autres écoles qui inscrivent des parts plus importantes d’étudiants noirs ou hispaniques à faible revenu ont un CDR plus élevé.
• Étant donné que le modèle de refinancement des prêts étudiants pénalise tous les candidats des écoles à haute teneur en CDR, elle affecte négativement les mutuels noirs et hispaniques, en particulier ceux qui ont des scores de crédit forts et des revenus élevés.
• Le résultat est discriminatoire car un emprunteur avec crédit vierge mais un matériau Alma avec un CDR élevé est pénalisé pour le moyenne Comportement des anciens étudiants, qui n’ont probablement aucun lien direct avec leur risque de défaut.

Plats à emporter

• Les délégués sont souvent involontaires. Il n’était pas nécessaire pour l’AG de montrer que l’assureur essayait intentionnellement de discriminer les candidats noirs ou hispaniques. L’utilisation de variables proxy sans évaluations de préjugés adéquates est suffisante pour attirer le contrôle et causer des dommages légaux et de réputation. Cela est particulièrement vrai dans lequel, comme ici, la variable n’est pas quelque chose sur lequel le demandeur peut changer ou améliorer: le collège qu’il a fréquenté qu’il est associé au prêt est une variable permanente (contrairement au crédit, au revenu ou à l’épargne).
• Les variables agrégées ou de groupe doivent être soigneusement examinées. Les entrées telles que CDR et le code postal peuvent être proxy pour les classes protégées et non connectées aux risques associés à certains candidats. Par conséquent, ils doivent être évalués pour s’assurer qu’ils ont un lien causal au risque pour chaque demandeur individuel (Par exempleL’emplacement du code postal est proche d’une zone d’inondation pour l’assurance des biens).

Les auteurs tiennent à remercier Debevoise Summer Law Legke, Teddy Leeds Armstrong, pour son travail sur ce blog de Debevoise Data.

Pour vous inscrire au blog de données, veuillez Cliquez ici.

Le débevoise staar (suite d’outils pour évaluer le risque de l’IA) Il s’agit d’un service d’abonnement mensuel qui offre aux clients des clients de Debevoise une suite d’outils en ligne pour les aider à adopter leur intelligence artificielle. Veuillez nous contacter à [email protected] Pour plus d’informations.

La couverture utilisée dans cet article de blog a été générée par Chatgpt 4O et le contenu a été partiellement généré par O3.