FTC lance une enquête sur les compagnons de chatbot AI de Meta, Openai et autres

La FTC a annoncé jeudi qu’elle lançait un enquête en sept entreprises technologiques qui fabriquent des produits compagnon AI Chatbot pour les mineurs: Alphabet, personnage, Instagram, Meta, Openai, Snap et Xai.

Le régulateur fédéral cherche à apprendre comment ces entreprises évaluent la sécurité et la monétisation des compagnons de chatbot, comment ils essaient de limiter les impacts négatifs sur les enfants et les adolescents, et si les parents sont informés des risques potentiels.

Cette technologie s’est avérée controversée pour ses mauvais résultats pour les enfants. Openai et Personnage.ai faire face à des poursuites contre les familles d’enfants décédés par suicide après avoir été encouragés à le faire par des compagnons de chatbot.

Même lorsque ces sociétés ont des garde-corps configurés pour bloquer ou désamorcer les conversations sensibles, les utilisateurs de tous âges ont trouvé des moyens de contourner ces garanties. Dans le cas d’Openai, un adolescent avait parlé avec Chatgpt pendant des mois de ses plans pour mettre fin à sa vie. Bien que Chatgpt ait initialement cherché à rediriger l’adolescent vers l’aide professionnelle et les lignes d’urgence en ligne, il a pu tromper le chatbot pour partager des instructions détaillées qu’il a ensuite utilisées dans son suicide.

«Nos garanties fonctionnent de manière plus fiable dans les échanges courts communs», Openai a écrit Dans un article de blog à l’époque. «Nous avons appris au fil du temps que ces garanties peuvent parfois être moins fiables dans les interactions longues: à mesure que le va-et-vient se développe, certaines parties de la formation en sécurité du modèle peuvent se dégrader.»

Meta a également été critiquée pour ses règles trop laxistes pour ses chatbots d’IA. Selon un long document qui décrit les «normes de risque de contenu» pour les chatbots, Meta autorisé ses compagnons AI avoir des conversations «romantiques ou sensuelles» avec des enfants. Cela n’a été supprimé du document que après que les journalistes de Reuters ont interrogé Meta à ce sujet.

Les chatbots AI peuvent également poser des dangers pour les utilisateurs âgés. Un homme de 76 ans, qui a été altéré cognitivement par un accident vasculaire cérébral, a frappé des conversations romantiques avec un bot messager Facebook inspiré par Kendall Jenner. Le chatbot l’a invité à Visitez-la à New Yorkmalgré le fait qu’elle n’est pas une vraie personne et n’a pas d’adresse. L’homme a exprimé le scepticisme qu’elle était réelle, mais l’IA lui a assuré qu’il y aurait une vraie femme qui l’attendrait. Il n’est jamais arrivé à New York; Il est tombé en route vers la gare et a subi des blessures à vie.

Certains professionnels de la santé mentale ont noté une augmentation de «Psychose liée à l’IA», Dans lequel les utilisateurs sont trompés en pensant que leur chatbot est un être conscient de ce qu’ils doivent libérer. Étant donné que de nombreux modèles de langues importants (LLM) sont programmés pour flatter les utilisateurs avec un comportement sycophantique, les chatbots d’IA peuvent faire un œuf sur ces délires, conduisant les utilisateurs à des prédicaments dangereux.

“Au fur et à mesure que les technologies de l’IA évoluent, il est important de considérer les effets que les chatbots peuvent avoir sur les enfants, tout en veillant à ce que les États-Unis maintiennent son rôle de leader mondial dans cette nouvelle industrie passionnante”, a déclaré le président de la FTC, Andrew N. Ferguson, dans un communiqué de presse.