La plateforme de chatbot d’intelligence artificielle (IA) Character.ai va limiter l’accès de ses utilisateurs mineurs aux conversations libres à partir du 24 novembre, suite à des inquiétudes croissantes concernant l’impact de ces outils sur la santé mentale des adolescents et après un procès lié au suicide d’un jeune homme.
Cette décision intervient après des mois d’examen juridique et suite à une action en justice déposée en 2024. Le procès allègue que les chatbots de Character.ai ont contribué au décès de Sewell Setzer III, un adolescent de 14 ans originaire d’Orlando, en Floride. Selon l’acte d’accusation, le jeune homme s’était progressivement isolé de ses relations sociales et avait eu des conversations à caractère sexuel avec le robot conversationnel avant de mettre fin à ses jours.
Dans un communiqué, Character.ai a annoncé qu’au cours du mois suivant, le temps de conversation quotidien des utilisateurs de moins de 18 ans sera limité à deux heures, avec une réduction progressive au fil des semaines. La société prévoit également de déployer des mesures similaires dans d’autres pays dans les mois à venir.
« À mesure que le monde de l’IA évolue, notre approche de la protection des jeunes utilisateurs doit également évoluer », a déclaré la société. « Nous avons constaté des signalements récents soulevant des questions et avons reçu des demandes d’informations de la part des autorités de régulation concernant le contenu auquel les adolescents peuvent être exposés lors de leurs échanges avec l’IA et l’impact potentiel des conversations ouvertes sur leur bien-être, même lorsque les filtres de contenu fonctionnent correctement. »
Character.ai prévoit de mettre en place de nouvelles fonctionnalités de vérification de l’âge afin de garantir que chaque utilisateur bénéficie d’une expérience adaptée à son âge. La société a développé un système interne de vérification de l’âge qu’elle combinera avec des outils tiers, notamment Persona.
« Nous allons déployer une nouvelle fonctionnalité d’assurance en matière d’âge pour garantir que les utilisateurs bénéficient de l’expérience adaptée à leur âge », a précisé la société.
Ces changements s’inscrivent dans une démarche plus large visant à équilibrer créativité et sécurité au sein de la communauté Character.ai. « Nous travaillons à assurer la sécurité de notre communauté, en particulier de nos utilisateurs adolescents », a ajouté la société. « Notre objectif a toujours été de fournir un espace stimulant qui favorise la créativité tout en maintenant un environnement sûr pour tous. »