Explicatif | Quand “tricher” aux échecs devient une affaire de statistiques au tribunal

L’histoire jusqu’ici:

Le monde des échecs a été secoué fin 2022 lorsque Magnus Carlsen, l’actuel champion du monde, a accusé Hans Niemann, un grand maître d’échecs américain de 19 ans, d’avoir triché en utilisant un système d’intelligence artificielle (IA) jouant aux échecs. Niemann avait vaincu Carlsen, provoquant l’accusation de Carlsen; Niemann a affirmé qu’il avait battu Carlsen équitablement même s’il a admis plus tard avoir triché deux fois dans des jeux d’échecs en ligne à l’âge de 12 et 16 ans.

Un mois plus tard, un rapport d’enquête de 72 pages rédigé par Chess.com affirmait que Niemann avait “probablement triché” plus d’une centaine de fois en jouant aux échecs en ligne. Mais le rapport a également déclaré: “Il n’y a aucune preuve directe qui prouve que Hans a triché lors du match du 4 septembre 2022 avec Magnus.”

La triche aux échecs est devenue un problème majeur, en particulier à l’ère en ligne. Parmi les plus de 500 000 comptes que Chess.com a clôturés pour tricherie, plus de 500 appartenaient à des joueurs titrés (le titrage est une marque de compétence). D’ici début 2024, le site prévoit de fermer plus d’un million de comptes.

Comment savoir si un joueur a triché ?

Tout d’abord, les chercheurs construisent un modèle statistique en utilisant la base de données de millions de parties d’échecs terminées. Ensuite, ils estiment la probabilité que le mouvement d’un joueur humain coïncide avec un mouvement effectué par un moteur d’échecs en utilisant le modèle ajusté.

C’est un peu comme une analyse ADN de scène de crime pour chaque joueur d’échecs dans le monde. Les moteurs d’échecs comme Leela Chess Zero et Stockfish ne sont pas seulement de meilleurs joueurs que leurs homologues humains (en moyenne), mais jouent également différemment. Stockfish a une cote Elo de plus de 3 500, par rapport au score Elo de Carlsen 2014 de 2 882, le plus élevé qu’un humain ait jamais atteint. De plus, les styles de jeu des moteurs peuvent très bien provenir d’une autre planète car ils sont développés différemment que les humains développent leurs styles. On dit donc que la probabilité de tricherie augmente lorsque la corrélation entre les mouvements d’un joueur et ceux des moteurs d’échecs augmente.

En alimentant les enregistrements des parties de Niemann dans les moteurs d’échecs, certains experts ont découvert que Niemann avait joué une longue série de mouvements recommandés par l’IA dans les parties de tournoi et que ses tactiques étaient souvent similaires à celles d’un ordinateur. Mais certains experts ont affirmé que les mouvements à bord dans les jeux réels de nombreux joueurs pourraient ressembler à ceux d’une IA, puisque l’entraînement, la préparation et les pratiques des joueurs humains sont désormais également affectés par ces moteurs.

Le différend Carlsen-Niemann pourrait enfin être tranché par un tribunal : Niemann a poursuivi Carlsen, Chess.com et le prodige des échecs Hikaru Nakamura, qui a également accusé Niemann de tricherie dans les jeux en ligne, pour 100 millions de dollars pour diffamation. Et puis, ce ne sera pas la première fois que les statistiques seront cruciales pour les procédures judiciaires. Il existe de nombreux cas aux États-Unis, au Royaume-Uni et dans d’autres pays où les théories statistiques – principalement celles liées au calcul des probabilités – ont été appliquées à la fois de manière positive et négative.

Quelle est la fiabilité des statistiques ? Quel est le cas Sally Clark

L’utilisation des statistiques devant les tribunaux nécessite la plus grande prudence et expertise. Une affaire criminelle tristement célèbre au Royaume-Uni impliquant une femme nommée Sally Clark est un excellent exemple de la façon dont l’utilisation de fausses statistiques a entraîné une injustice.

Après la mort prématurée de deux de ses enfants en bas âge du syndrome de mort subite du nourrisson (SMSN) à des occasions distinctes, Clark a été accusée de meurtre. Un pédiatre a déclaré que la probabilité d’un décès par SMSN au hasard lorsque la mère est âgée de plus de 26 ans, aisée et non-fumeuse, est de 1 sur 8 543. Ainsi, la probabilité de deux décès de ce type, a poursuivi l’expert, a été calculée à 1/8 543 ^ 2, soit 1 sur 73 millions. Clark a été rapidement condamné en 1999.

Mais la Royal Statistical Society n’était pas d’accord et a déclaré qu’il n’y avait “aucune base statistique” pour le chiffre du pédiatre. En fait, le pédiatre avait commis le « sophisme du procureur » en considérant à tort les deux décès comme indépendants. Lorsque Ray Hill, professeur de mathématiques à l’Université de Salford, a examiné des données supplémentaires en 2002, il a conclu que le risque qu’un deuxième enfant meure du SMSN étant donné qu’un premier enfant était décédé du SMSN pourrait être aussi élevé que 1 sur 60 ! Clark a ainsi été libéré de prison en 2003.

Dans un article de 2011, Norman Fenton, professeur de gestion de l’information sur les risques à Queen Mary, Londres, a écrit : « La plupart des erreurs courantes de raisonnement statistique peuvent être évitées en appliquant le théorème de Bayes, une règle qui permet de pondérer les preuves.

Disons qu’un échantillon de scène de crime a produit un profil ADN partiel correspondant aux parties équivalentes du profil de Swami avec une probabilité de correspondance aléatoire de 2 sur 1 000. Ainsi, le procureur proclame qu’il est probable à 99,8% que Swami ait commis le crime, car seulement 0,2% des personnes peuvent avoir une telle correspondance ADN. Considérez, cependant, qu’il y avait 10 000 personnes qui auraient pu se trouver sur le site du crime. Swami n’est donc qu’une des 20 sources de correspondance attendues. Au lieu de 99,8 %, la probabilité que Swami ait commis le crime n’est donc que de 5 %.

(Notez que cette méthode suppose que chacune des 10 000 sources potentielles a une probabilité a priori égale d’avoir été la source.)

Lors d’une conférence en juillet 2021, la juge Lady Rose de la Cour suprême du Royaume-Uni a déclaré : « Il y a certains domaines où les humains sont particulièrement faillibles lorsqu’il s’agit d’utiliser les statistiques pour prendre des décisions rationnelles. Un élément important est l’évaluation du risque et de la probabilité.

Carlsen a exprimé la conviction que la tricherie est “une menace existentielle” pour les échecs. Il pourrait être tentant, dans ce contexte, de voir l’avenir de ce jeu vieux de 1 500 ans reposer même en partie entre les mains de l’affaire Carlsen-Niemann, notamment dans le bon usage des statistiques et leur interprétation. Mais il y aura plusieurs façons de les calculer et de les interpréter, tout comme le cas lui-même peut basculer dans les deux sens.

Par exemple, selon l’analyse d’un utilisateur anonyme de Chessbase appelé gambit-man, Niemann a un nombre inhabituellement élevé de jeux avec une corrélation de moteur de 100 %. La défense de Niemann pourrait être que son jeu ressemble beaucoup moins à un ordinateur que celui de Carlsen dans un passé récent.

Il existe une métrique appelée centipawn loss : elle mesure à quel point les mouvements d’un joueur étaient pires par rapport au premier choix du moteur. Une valeur inférieure indique une correspondance plus proche du choix du moteur. Il existe une autre métrique appelée profondeur : le nombre de coups à venir d’un seul joueur qu’un moteur d’échecs essaie de prédire. Par rapport au moteur d’échecs open source Stockfish (v.15) à la profondeur 18, les scores de perte de centipawn de Niemann et Carlsen sont respectivement de 25,6 et 16,9.

Alors Niemann gagne-t-il l’argument ou Carlsen ?

C’est difficile à dire. Peut-être ne saurons-nous jamais avec certitude si Niemann a vraiment triché, car les analyses statistiques suggèrent seulement si la tricherie a pu se produire ; ils ne fournissent pas de verdicts absolus. Les experts passeront en revue tous les aspects de ces analyses – y compris leurs justifications statistiques, leur convenance et leur interprétation – et sur la base de cette mode, des arguments et des contre-arguments tout aussi valables.

La seule chose dont nous pouvons être raisonnablement certains est que, quel que soit le vainqueur de l’affaire, une partie d’échecs honnête n’a pas besoin d’être en jeu – mais pas pour les raisons qui préoccupent Carlsen.

Atanu Biswas est professeur de statistiques à l’Indian Statistical Institute de Kolkata.