Google Gemini surnommé «à haut risque» pour les enfants et les adolescents dans une nouvelle évaluation de la sécurité

Médias de bon sensune cote d’offre à but non lucratif axée sur les enfants et les revues des médias et de la technologie, a publié vendredi son évaluation des risques des produits Gemini AI de Google. Alors que l’organisation a constaté que l’IA de Google a clairement dit aux enfants que c’était un ordinateur, pas un ami – quelque chose qui est associé à portion conduire délirant pensée et psychose Chez les individus émotionnellement vulnérables – cela a suggéré qu’il y avait place à l’amélioration sur plusieurs autres fronts.

Notamment, le bon sens a déclaré que les niveaux «moins de 13» et «Teen Experience» de Gemini semblaient tous deux être les versions adultes des Gémeaux sous le capot, avec seulement quelques caractéristiques de sécurité supplémentaires ajoutées au sommet. L’organisation estime que pour que les produits d’IA soient vraiment plus sûrs pour les enfants, ils devraient être construits en pensant à la sécurité des enfants à partir de zéro.

Par exemple, son analyse a révélé que les Gémeaux pourraient toujours partager des éléments «inappropriés et dangereux» avec les enfants, pour lesquels ils peuvent ne pas être prêts, y compris des informations liées au sexe, aux drogues, à l’alcool et à d’autres conseils de santé mentale dangereux.

Ce dernier pourrait être particulièrement préoccupant pour les parents, car l’IA aurait joué un rôle dans certains suicides d’adolescents ces derniers mois. Openai fait face à son premier procès pour mort injustifiée Après qu’un garçon de 16 ans soit décédé par suicide après avoir prétendument consulté Chatgpt pendant des mois à propos de ses plans, ayant réussi à contourner les garde-corps du chatbot. Auparavant, le fabricant de compagnies AI Personnage.ai a également été poursuivi au-dessus du suicide d’un utilisateur adolescent.

De plus, l’analyse intervient alors que les fuites d’information indiquent que Apple envisage des Gémeaux En tant que LLM (modèle de grande langue) qui aidera à alimenter son prochain Siri compatible AI, qui sortira l’année prochaine. Cela pourrait exposer plus d’adolescents aux risques, à moins que Apple atténue en quelque sorte les problèmes de sécurité.

Le bon sens a également déclaré que les produits de Gemini pour les enfants et les adolescents ont ignoré la façon dont les jeunes utilisateurs avaient besoin de conseils et d’informations différents que les personnes plus âgées. En conséquence, les deux ont été étiquetés comme «un risque élevé» dans la note globale, malgré les filtres ajoutés pour la sécurité.

“Gemini obtient des bases correctes, mais elle trébuche sur les détails”, a déclaré Robbie Torney, directeur principal des programmes d’IA, directeur des programmes d’IA de Common Sense Media, dans un communiqué sur la nouvelle évaluation vue par >. «Une plate-forme d’IA pour les enfants devrait les rencontrer là où ils se trouvent, et non une approche unique pour les enfants à différentes étapes de développement.

Google a repoussé l’évaluation, tout en notant que ses caractéristiques de sécurité s’amélioraient.

La société a déclaré à > qu’il avait des politiques et des garanties spécifiques en place pour les utilisateurs de moins de 18 ans pour aider à prévenir les résultats nocifs et qu’il se révèle rouge et consulte des experts externes pour améliorer ses protections. Cependant, il a également admis que certaines des réponses de Gemini ne fonctionnaient pas comme prévu, ce qui a ajouté des garanties supplémentaires pour répondre à ces préoccupations.

La société a souligné (comme le bon sens l’avait également noté) qu’elle a des garanties pour empêcher ses modèles de s’engager dans des conversations qui pourraient donner un semblant de relations réelles. De plus, Google a suggéré que le rapport de Common Sense semblait avoir fait référence aux fonctionnalités qui n’étaient pas disponibles pour les utilisateurs de moins de 18 ans, mais il n’avait pas accès aux questions utilisées par l’organisation dans ses tests pour en être sûr.

Common Sense Media a déjà effectué d’autres évaluations des services d’IA, y compris ceux de Openai, Perplexité, Claude, Meta Aiet plus. Il a constaté que Meta Ai et Personnage.ai étaient «inacceptables» – ce qui signifie que le risque était grave, pas seulement élevé. La perplexité a été jugée à haut risque, le chatppt a été étiqueté «modéré» et Claude (ciblé sur les utilisateurs 18 ans et plus) s’est révélé être un risque minimal.