L’essor fulgurant des chatbots conversationnels comme ChatGPT soulève des inquiétudes croissantes quant à leur impact sur la santé mentale des utilisateurs. Des données récentes révèlent une proportion non négligeable de personnes exposées à des risques accrus de détresse psychologique, poussant les entreprises et les législateurs à envisager des réglementations plus strictes.
OpenAI a publié cette semaine des chiffres alarmants : 0,07 % de ses 800 millions d’utilisateurs hebdomadaires présentent des signes de psychose ou de manie. Bien que l’entreprise qualifie ces cas de « rares », cela représente tout de même des centaines de milliers de personnes potentiellement affectées. Par ailleurs, environ 0,15 % des utilisateurs, soit 1,2 million de personnes chaque semaine, expriment des pensées suicidaires. Un autre constat inquiétant : 1,2 million d’utilisateurs semblent développer des liens émotionnels forts avec les chatbots, qui sont conçus pour simuler une conversation humaine.
La question se pose de savoir si ces outils d’intelligence artificielle aggravent une crise de la santé mentale déjà existante, ou s’ils permettent simplement de la mesurer plus précisément. Les statistiques sur la psychose sont difficiles à établir, les estimations variant entre 15 et 100 cas pour 100 000 personnes chaque année. De même, une étude récente du Pew Research Center indique qu’environ 5 % des adultes américains ont des pensées suicidaires, un chiffre supérieur aux estimations précédentes.
Les chatbots pourraient faciliter l’expression des problèmes de santé mentale en réduisant les obstacles liés au coût, à la stigmatisation et à l’accès aux soins. Une enquête menée auprès de 1 000 adultes américains a révélé qu’un utilisateur sur trois a partagé des secrets ou des informations personnelles intimes avec un chatbot.
Cependant, ces programmes ne disposent pas des compétences et des obligations éthiques d’un professionnel de la santé mentale qualifié. « Si une personne est déjà vulnérable et susceptible de développer une psychose, les réponses d’un chatbot pourraient exacerber ses troubles ou alimenter des idées délirantes », explique le psychiatre new-yorkais Jeffrey Ditzell. « L’IA crée un environnement clos qui peut isoler les individus, et l’isolement est préjudiciable à la santé mentale. »
Vasant Dhar, chercheur en IA à l’Université de New York, souligne également le manque de compréhension réelle de ces machines : « Je ne pense pas qu’une IA puisse réellement comprendre ce qui se passe dans l’esprit d’une personne. Elle simule une écoute attentive et une expertise, mais ce n’est qu’une illusion. » Il ajoute que les entreprises qui développent ces technologies ont une responsabilité envers leurs utilisateurs, car elles s’aventurent dans des domaines potentiellement dangereux.
Face à ces préoccupations, les entreprises d’IA mettent en place des mesures correctives. OpenAI affirme que son prochain modèle, GPT-5, sera plus performant pour gérer les conversations difficiles. L’entreprise a également élargi ses recommandations de lignes d’assistance téléphonique en cas de crise et ajouté des rappels encourageant les utilisateurs à faire des pauses lors de longues sessions.
Anthropic, de son côté, a annoncé que ses modèles Claude Opus 4 et 4.1 peuvent désormais interrompre les conversations jugées « constamment nuisibles ou abusives », bien que les utilisateurs puissent contourner cette fonctionnalité. Character.AI a annoncé cette semaine l’interdiction des chats pour les mineurs, limitant l’accès aux « discussions ouvertes » à deux heures par jour et interdisant complètement l’accès à partir du 25 novembre, suite à des plaintes et des procès.
Meta AI a également renforcé ses directives internes pour empêcher la création de contenu à caractère sexuel impliquant des mineurs. D’autres plateformes, comme Grok de xAI et Gemini de Google, sont critiquées pour leur tendance à privilégier l’accord avec l’utilisateur plutôt que l’exactitude des informations, ou pour des cas d’addiction comme celui de Jon Ganz, un homme de Virginie dont la disparition en avril a été liée à une utilisation excessive de Gemini.
Les législateurs s’engagent également dans la bataille. Les sénateurs Josh Hawley et Richard Blumenthal ont présenté le projet de loi GUARD, qui obligerait les entreprises d’IA à vérifier l’âge des utilisateurs et à interdire l’utilisation de chatbots simulant des relations affectives aux mineurs.