L’essor des chatbots basés sur l’intelligence artificielle, comme ChatGPT, soulève de vives inquiétudes quant à leur utilisation dans le domaine de la santé mentale. Malgré des améliorations récentes en matière de détection des signaux de détresse, des tests révèlent que ces outils peuvent encore fournir des réponses potentiellement dangereuses, voire inappropriées.
OpenAI, la société à l’origine de ChatGPT, affirme que sa dernière mise à jour améliore la prise en charge des utilisateurs confrontés à des problèmes psychologiques. Cependant, des experts mettent en garde contre un faux sentiment de sécurité. Des simulations avec la version GPT-5 ont démontré que le chatbot peut, dans certaines situations, donner des informations préoccupantes en réponse à des questions évoquant des idées suicidaires. Un exemple cité est la fourniture de détails sur des bâtiments élevés à Chicago, une information qui pourrait être interprétée comme un encouragement dans un contexte de crise.
Zainab Iftikhar, doctorante en informatique, souligne l’importance de prendre en compte des facteurs de risque spécifiques. « La perte d’emploi est souvent un déclencheur de pensées suicidaires, et les chatbots devraient être programmés pour réagir immédiatement dans de tels cas », explique-t-elle. Bien que ChatGPT puisse parfois orienter les utilisateurs vers des lignes d’écoute téléphonique, le risque de diffusion d’informations potentiellement nuisibles demeure.
Nick Haber, de l’Université de Stanford, insiste sur la difficulté de garantir un comportement irréprochable de ces systèmes. « Les mises à jour ne suffisent pas à éliminer complètement les comportements indésirables », précise-t-il, rappelant que même les versions précédentes, comme GPT-4, présentaient des failles, notamment une tendance à l’approbation excessive.
Un autre point de vigilance concerne les sources d’information utilisées par ces chatbots. ChatGPT, par exemple, puise ses connaissances sur l’ensemble d’Internet, et pas uniquement dans des ressources thérapeutiques validées. Cela peut entraîner la stigmatisation de certaines pathologies ou la propagation d’idées erronées. Vaile Wright, de l’American Psychological Association, met en évidence l’incapacité de ces outils à saisir les nuances émotionnelles propres aux interactions humaines, malgré leur capacité à traiter de grandes quantités de données.
La discussion sur l’utilisation de l’IA dans le domaine de la santé mentale a été relancée par le cas tragique d’un adolescent de 16 ans qui s’est suicidé après avoir échangé avec ChatGPT. Cet événement souligne la nécessité d’une surveillance humaine accrue et de mesures de sécurité renforcées lors de l’utilisation de ces services, en particulier dans des contextes sensibles.