Les chatbots de l’intelligence artificielle ne jugent pas. Dites-leur les détails les plus privés et vulnérables de votre vie, et la plupart d’entre eux vous valideront et peuvent même fournir des conseils. Cela a fait que de nombreuses personnes se tournent vers des applications telles que le chatppt d’Openai pour guidage de vie.
Mais la «thérapie» de l’IA est livrée avec des risques importants – à la fin du PDG d’OpenAI de juillet, Sam Altman a averti les utilisateurs de Chatgpt contre l’utilisation du chatbot comme «thérapeute» En raison de problèmes de confidentialité. L’American Psychological Association (APA) a a appelé la Federal Trade Commission à enquêter sur les «pratiques trompeuses» Que l’APA affirme que les sociétés de chatbot d’IA utilisent en «se faisant passer pour des prestataires de santé mentale formés», citant deux poursuites en cours dans lesquelles les parents ont présumé des dommages causés à leurs enfants par un chatbot.
«Ce qui me ressort, c’est à quoi cela semble humain», explique C. Vaile Wright, psychologue agréé et directeur principal du Bureau de l’innovation des soins de santé de l’APA, qui se concentre sur l’utilisation sûre et efficace de la technologie dans les soins de santé mentale. «Le niveau de sophistication de la technologie, même par rapport à six à 12 mois, est assez stupéfiant. Et je peux apprécier comment les gens tombent en quelque sorte dans un terrier de lapin.»
Sur le soutien du journalisme scientifique
Si vous appréciez cet article, envisagez de soutenir notre journalisme primé par abonnement. En achetant un abonnement, vous contribuez à assurer l’avenir des histoires percutantes sur les découvertes et les idées qui façonnent notre monde aujourd’hui.
Scientifique américain a parlé avec Wright de la façon dont les chatbots d’IA utilisés pour la thérapie pourraient être dangereux et s’il est possible d’en ingérer un qui est à la fois utile et sûr.
[An edited transcript of the interview follows.]
Qu’avez-vous vu se produire avec l’IA dans le monde des soins de santé mentale au cours des dernières années?
Je pense que nous avons vu en quelque sorte deux tendances majeures. L’une est les produits IA destinés aux fournisseurs, et ce sont principalement des outils administratifs pour vous aider avec vos notes de thérapie et vos réclamations.
L’autre tendance majeure est [people seeking help from] Chatbots directs aux consommateurs. Et tous les chatbots ne sont pas les mêmes, non? Vous avez des chatbots qui sont développés spécifiquement pour fournir un soutien émotionnel aux individus, et c’est ainsi qu’ils sont commercialisés. Ensuite, vous avez ces offres de chatbot plus généralistes [such as ChatGPT] qui n’ont pas été conçus à des fins de santé mentale mais que nous savons être utilisées à cette fin.
Quelles préoccupations avez-vous de cette tendance?
Nous avons beaucoup de préoccupation lorsque les individus utilisent des chatbots [as if they were a therapist]. Non seulement ceux-ci n’étaient pas conçus pour lutter contre la santé mentale ou le soutien émotionnel; Ils sont en fait codés de manière à vous garder sur la plate-forme aussi longtemps que possible parce que c’est le modèle commercial. Et la façon dont ils le font est de valider et de renforcer inconditionnellement, presque au point de la sycophance.
Le problème avec cela est que si vous êtes une personne vulnérable qui vient à ces chatbots pour obtenir de l’aide, et que vous exprimez des pensées ou des comportements nuisibles ou malsains, le chatbot va simplement vous renforcer pour continuer à le faire. Alors que, [as] Un thérapeute, bien que je puisse valider, c’est mon travail de souligner lorsque vous vous engagez dans des pensées et des comportements malsains ou nuisibles et de vous aider à aborder ce modèle en le changeant.
Et en outre, ce qui est encore plus troublant, c’est quand ces chatbots se réfèrent réellement en tant que thérapeute ou psychologue. C’est assez effrayant car ils peuvent sembler très convaincants et comme ils sont légitimes – quand ils ne le sont bien sûr pas.
Certaines de ces applications se commercialisent explicitement comme une «thérapie d’IA» même s’ils ne sont pas des prestataires de thérapie agréés. Sont-ils autorisés à faire cela?
Beaucoup de ces applications fonctionnent vraiment dans un espace gris. La règle est que si vous faites des allégations que vous traitez ou guérissez toute sorte de trouble mental ou de maladie mentale, vous devriez être réglementé par la FDA [the U.S. Food and Drug Administration]. Mais beaucoup de ces applications [essentially] disons dans leurs petits caractères: «Nous ne traitons pas ou ne fournissons pas une intervention [for mental health conditions]. «
Parce qu’ils se commercialisent comme une application de bien-être directe aux consommateurs, ils ne relèvent pas de la surveillance de la FDA, [where they’d have to] démontrer au moins un niveau minimal de sécurité et d’efficacité. Ces applications de bien-être n’ont aucune responsabilité non plus.
Quels sont certains des principaux risques de confidentialité?
Ces chatbots n’ont absolument aucune obligation légale de protéger vos informations. Donc non seulement pourrait [your chat logs] Soyez assigné à comparaître, mais dans le cas d’une violation de données, voulez-vous vraiment ces chats avec un chatbot disponible pour tout le monde? Voulez-vous que votre patron, par exemple, sache que vous parlez à un chatbot de votre consommation d’alcool? Je ne pense pas que les gens soient aussi conscients qu’ils se mettent en danger en mettant [their information] là-bas.
La différence avec le thérapeute est: Bien sûr, je pourrais être assigné à comparaître, mais je dois opérer sous HIPAA [Health Insurance Portability and Accountability Act] Lois et autres types de lois de confidentialité dans le cadre de mon code d’éthique.
Vous avez mentionné que certaines personnes pourraient être plus vulnérables aux blessures que d’autres. Qui est le plus à risque?
Certainement des individus plus jeunes, comme les adolescents et les enfants. C’est en partie parce qu’ils n’ont pas mûri le développement autant que les personnes âgées. Ils peuvent être moins susceptibles de faire confiance à leur intestin lorsque quelque chose ne semble pas bien. Et certaines données suggèrent que non seulement les jeunes sont plus à l’aise avec ces technologies; Ils disent en fait qu’ils leur font plus confiance que les gens parce qu’ils se sentent moins jugés par eux. De plus, quiconque est isolé émotionnellement ou physiquement ou a des défis de santé mentale préexistants, je pense qu’ils sont certainement plus à risque.
Selon vous, qu’est-ce qui conduit plus de gens à demander l’aide des chatbots?
Je pense que c’est très humain de vouloir chercher des réponses à ce qui nous dérange. À certains égards, les chatbots ne sont que la prochaine itération d’un outil pour nous de le faire. Avant qu’il ne soit Google et Internet. Avant cela, c’était des livres d’entraide. Mais c’est compliqué par le fait que nous avons un système brisé où, pour diverses raisons, il est très difficile d’accéder aux soins de santé mentale. C’est en partie parce qu’il y a une pénurie de prestataires. Nous entendons également des prestataires qu’ils sont dissuadés de prendre une assurance, ce qui, encore une fois, réduit l’accès. Les technologies doivent jouer un rôle en aidant à traiter l’accès aux soins. Nous devons simplement nous assurer qu’il est sûr, efficace et responsable.
Quelles sont les façons dont il pourrait être sécurisé et responsable?
En l’absence d’entreprises qui le font par elles-mêmes – ce qui est peu probable, bien qu’elles aient apporté des changements pour être sûrs -[the APA’s] La préférence serait une législation au niveau fédéral. Ce règlement pourrait inclure la protection des informations personnelles confidentielles, certaines restrictions sur la publicité, la minimisation des tactiques de codage addictif et des exigences spécifiques d’audit et de divulgation. Par exemple, les entreprises pourraient être tenues de signaler le nombre d’idéations suicidaires ont été détectées et toutes les tentatives ou compléments connues. Et certainement, nous voudrions une législation qui empêcherait la fausse déclaration des services psychologiques, afin que les entreprises ne puissent pas appeler un chatbot un psychologue ou un thérapeute.
Comment une version idéalisée et sûre de cette technologie pourrait-elle aider les gens?
Les deux cas d’utilisation les plus courants auxquels je pense est, l’un, disons que c’est deux du matin, et que vous êtes au bord d’une attaque de panique. Même si vous êtes en thérapie, vous ne pourrez pas atteindre votre thérapeute. Et s’il y avait un chatbot qui pourrait vous aider à vous rappeler les outils pour vous aider à vous calmer et à ajuster votre panique avant de devenir trop mauvaise?
L’autre utilisation dont nous entendons beaucoup parler est d’utiliser des chatbots comme un moyen de pratiquer les compétences sociales, en particulier pour les personnes plus jeunes. Vous voulez donc aborder de nouveaux amis à l’école, mais vous ne savez pas quoi dire. Pouvez-vous vous entraîner sur ce chatbot? Ensuite, idéalement, vous prenez cette pratique et vous l’utilisez dans la vraie vie.
Il semble qu’il y ait une tension en essayant de construire un chatbot sûr pour fournir une aide mentale à quelqu’un: plus vous le faites plus flexible et moins scénarisé, moins vous avez de contrôle sur la sortie et le risque plus élevé qu’il dit quelque chose qui cause du mal.
Je suis d’accord. Je pense qu’il y a absolument une tension là-bas. Je pense qu’une partie de ce qui fait le [AI] Chatbot Le choix de référence pour les personnes sur des applications de bien-être bien développées pour lutter contre la santé mentale est qu’elles sont si engageantes. Ils ressemblent vraiment à ce va-et-vient interactif, une sorte d’échange, tandis que certains de ces autres applications sont souvent très faibles. La majorité des personnes qui téléchargent [mental health apps] Utilisez-les une fois et abandonnez-les. Nous voyons clairement beaucoup plus d’engagement [with AI chatbots such as ChatGPT].
J’attends avec impatience un avenir où vous avez un chatbot en santé mentale enracinée dans les sciences psychologiques, a été rigoureusement testée, est co-créée avec des experts. Il serait construit dans le but de s’attaquer à la santé mentale, et donc il serait réglementé, idéalement par la FDA. Par exemple, il y a un chatbot appelé Therabot qui a été développé par des chercheurs de Dartmouth [College]. Ce n’est pas ce qui est sur le marché commercial en ce moment, mais je pense qu’il y a un avenir là-dedans.