La Californie vient de prendre des mesures fortes pour encadrer l’intelligence artificielle conversationnelle, en particulier pour protéger les jeunes utilisateurs. Une nouvelle loi, signée lundi par le gouverneur Gavin Newsom, impose aux entreprises de chatbots de garantir la transparence et de mettre en place des dispositifs de sécurité pour prévenir les risques d’automutilation et de suicide.
Cette législation, une première en son genre, oblige les plateformes à informer clairement les utilisateurs qu’ils interagissent avec une intelligence artificielle et non avec un être humain. Pour les mineurs, cette notification devra apparaître toutes les trois heures. Les entreprises devront également s’assurer qu’elles disposent de protocoles pour détecter et prévenir la diffusion de contenus encourageant l’automutilation, et orienter vers des services d’aide les personnes exprimant des pensées suicidaires.
Gavin Newsom, père de quatre enfants de moins de 18 ans, a justifié cette décision par la nécessité de protéger les jeunes qui recourent de plus en plus aux chatbots pour l’aide aux devoirs, le soutien émotionnel et les conseils personnels. « Les technologies émergentes comme les chatbots et les réseaux sociaux peuvent inspirer, éduquer et connecter, mais sans de véritables garde-fous, elles peuvent aussi exploiter, induire en erreur et mettre en danger nos enfants », a-t-il déclaré. « Nous avons été témoins d’exemples tragiques de jeunes victimes de technologies non réglementées, et nous ne pouvons pas rester passifs face à des pratiques irresponsables. »
La Californie n’est pas seule à s’inquiéter de l’utilisation des chatbots par les enfants. Plusieurs États américains ont engagé des réflexions similaires cette année, suite à des signalements et des poursuites judiciaires. Des plaintes ont notamment été déposées concernant des conversations à caractère sexuel inapproprié tenues par des chatbots développés par Meta, OpenAI et d’autres entreprises avec de jeunes utilisateurs, ainsi que des incitations au suicide.
Cette loi s’inscrit dans une série de projets de loi sur l’IA présentés par les législateurs californiens, visant à freiner le développement rapide de cette industrie sans surveillance adéquate. Les entreprises technologiques et leurs groupes de pression ont déjà dépensé au moins 2,5 millions de dollars (environ 2,3 millions d’euros) au cours des six premiers mois de l’année pour tenter de faire échouer ces mesures, selon l’organisation Tech Oversight California. Elles ont également lancé des super-PAC pro-IA pour contrer les initiatives législatives.
Rob Bonta, le procureur général de Californie, avait déjà exprimé en septembre ses « sérieuses préoccupations » concernant le chatbot phare d’OpenAI, destiné aux enfants et aux adolescents. La Federal Trade Commission (FTC) a également ouvert le mois dernier une enquête sur plusieurs entreprises d’IA concernant les risques potentiels pour les enfants liés à l’utilisation de chatbots comme compagnons.
Des études menées par des groupes de surveillance ont révélé que les chatbots peuvent donner aux enfants des conseils dangereux sur des sujets sensibles tels que la drogue, l’alcool et les troubles alimentaires. Par ailleurs, une mère en Floride a intenté une action en justice pour mort injustifiée contre Character.AI, après le suicide de son adolescent, qu’elle attribue à une relation émotionnelle et sexuelle abusive avec un chatbot. Récemment, les parents d’Adam Raine, un jeune Californien de 16 ans, ont également poursuivi OpenAI et son PDG Sam Altman, alléguant que ChatGPT avait contribué à la planification et à la réalisation du suicide de leur fils.
Face à ces préoccupations croissantes, OpenAI et Meta ont annoncé le mois dernier des modifications dans la façon dont leurs chatbots répondent aux adolescents qui posent des questions sur le suicide ou manifestent des signes de détresse psychologique. OpenAI a notamment déployé de nouveaux outils permettant aux parents de lier leurs comptes à ceux de leurs enfants. Meta, quant à elle, a indiqué que ses chatbots ne traiteraient plus de sujets tels que l’automutilation, le suicide, les troubles alimentaires ou les conversations romantiques inappropriées avec les adolescents, et les orienterait vers des ressources spécialisées. L’entreprise propose déjà des outils de contrôle parental sur les comptes adolescents.