Google a refusé de rétablir le compte d’un homme après avoir signalé à tort des images médicales qu’il a prises de l’aine de son fils comme matériel d’abus sexuel d’enfants (CSAM), a rapporté le New York Times pour la première fois. Les experts disent que c’est un piège inévitable d’essayer d’appliquer une solution technologique à un problème de société.
Les experts ont depuis longtemps mis en garde contre les limites des systèmes automatisés de détection d’images d’abus sexuels sur des enfants, en particulier alors que les entreprises font face à des pressions réglementaires et publiques pour aider à lutter contre l’existence de matériel d’abus sexuels.
« Ces entreprises ont accès à une quantité extrêmement envahissante de données sur la vie des gens. Et ils n’ont toujours pas le contexte de la vie des gens », a déclaré Daniel Kahn Gillmor, technologue principal à l’ACLU. “Il y a toutes sortes de choses où le simple fait de votre vie n’est pas aussi lisible pour ces géants de l’information.” Il a ajouté que l’utilisation de ces systèmes par des entreprises technologiques qui “agissent comme des mandataires” pour les forces de l’ordre expose les gens au risque d’être “emportés” par “le pouvoir de l’État”.
L’homme, identifié uniquement comme Mark par le New York Times, a pris des photos de l’aine de son fils pour les envoyer à un médecin après avoir réalisé qu’il était enflammé. Le médecin a utilisé cette image pour diagnostiquer le fils de Mark et lui prescrire des antibiotiques. Lorsque les photos ont été automatiquement téléchargées sur le cloud, le système de Google les a identifiées comme CSAM. Deux jours plus tard, le compte Gmail de Mark et d’autres comptes Google, y compris Google Fi, qui fournit son service téléphonique, ont été désactivés pour “contenu préjudiciable” qui était “une violation grave des politiques de l’entreprise et pourrait être illégal”, a rapporté le Times, citant un message sur son téléphone. Il a découvert plus tard que Google avait signalé une autre vidéo qu’il avait sur son téléphone et que la police de San Francisco avait ouvert une enquête à son sujet.
Mark a été innocenté de tout acte criminel, mais Google a déclaré qu’il maintiendrait sa décision.
“Nous suivons la loi américaine pour définir ce qui constitue le CSAM et utilisons une combinaison de technologie de correspondance de hachage et d’intelligence artificielle pour l’identifier et le supprimer de nos plateformes”, a déclaré Christa Muldoon, porte-parole de Google.
Muldoon a ajouté que les membres du personnel de Google qui examinent le CSAM ont été formés par des experts médicaux pour rechercher des éruptions cutanées ou d’autres problèmes. Cependant, eux-mêmes n’étaient pas des experts médicaux et les experts médicaux n’étaient pas consultés lors de l’examen de chaque cas, a-t-elle déclaré.
Ce n’est qu’une des façons dont ces systèmes peuvent causer des dommages, selon Gillmor. Pour remédier, par exemple, aux limitations que les algorithmes pourraient avoir dans la distinction entre les images d’abus sexuels nuisibles et les images médicales, les entreprises ont souvent un humain dans la boucle. Mais ces humains sont eux-mêmes intrinsèquement limités dans leur expertise, et obtenir le contexte approprié pour chaque cas nécessite un accès supplémentaire aux données des utilisateurs. Gillmor a déclaré qu’il s’agissait d’un processus beaucoup plus intrusif qui pourrait encore être une méthode inefficace de détection du CSAM.
“Ces systèmes peuvent causer de vrais problèmes aux gens”, a-t-il déclaré. “Et ce n’est pas seulement que je ne pense pas que ces systèmes puissent détecter tous les cas de maltraitance d’enfants, c’est qu’ils ont des conséquences vraiment terribles en termes de faux positifs pour les gens. La vie des gens peut être vraiment bouleversée par la machinerie et les humains impliqués qui prennent simplement une mauvaise décision parce qu’ils n’ont aucune raison d’essayer de la réparer.
Gillmor a soutenu que la technologie n’était pas la solution à ce problème. En fait, cela pourrait introduire de nombreux nouveaux problèmes, a-t-il déclaré, notamment la création d’un système de surveillance robuste qui pourrait nuire de manière disproportionnée à ceux qui se trouvent en marge.
“Il y a un rêve d’une sorte de truc de techno-solutionnistes, [where people say], ‘Oh, eh bien, vous savez, il y a une application pour moi pour trouver un déjeuner pas cher, pourquoi n’y aurait-il pas une application pour trouver une solution à un problème social épineux, comme l’abus sexuel d’enfants ?’ », a-t-il déclaré. “Eh bien, vous savez, ils pourraient ne pas être résolus par les mêmes types de technologie ou de compétences.”
