«L’IA coûte cher. Soyons honnêtes à ce sujet», dit Anand.
Croissance par rapport à la sécurité
In October 2024, the mother of a teen who died by suicide filed a wrongful death suit against Character Technologies, its founders, Google, and Alphabet, alleging the company targeted her son with “anthropomorphic, hypersexualized, and frighteningly realistic experiences, while programming [the chatbot] Pour se déformer en tant que vraie personne, psychothérapeute agréé et amant adulte. » À l’époque, un porte-parole de personnage. Ara a déclaré à CNBC que la société avait «le cœur brisé par la perte tragique» et avait pris «la sécurité de nos utilisateurs très au sérieux».
L’incident tragique a mis le caractère.ai sous un examen minutieux. Plus tôt cette année, les sénateurs américains Alex Padilla et Peter Welch ont écrit une lettre à plusieurs plateformes de compagnie de l’IA, notamment le personnage.ai, mettant en évidence les préoccupations concernant «les risques de santé mentale et de sécurité posés aux jeunes utilisateurs» des plateformes.
«L’équipe prend cela de manière très responsable depuis près d’un an maintenant», me dit Anand. “L’IA est stochastique, il est difficile de toujours comprendre ce qui arrive. Ce n’est donc pas un investissement unique.”
C’est d’une importance extrêmement importante parce que le caractère.ai se développe. La startup compte 20 millions d’utilisateurs actifs mensuels qui passent, en moyenne, 75 minutes par jour pour discuter avec un bot (un «caractère» de personnage.ai Parlance). La base d’utilisateurs de l’entreprise est à 55% de femmes. Plus de 50% de ses utilisateurs sont Gen Z ou Gen Alpha. Avec cette croissance vient un réel risque – que fait Anand pour assurer la sécurité de ses utilisateurs?
“[In] Au cours des six derniers mois, nous avons investi une quantité disproportionnée de ressources pour pouvoir servir moins de 18 ans différemment de plus de 18 ans, ce qui n’était pas le cas l’année dernière “, dit Anand.” Je ne peux pas dire: “Oh, je peux gifler une étiquette de 18+ sur mon application et dire l’utiliser pour NSFW.” Vous finissez par créer une application très différente et une plate-forme à petite échelle différente. »
Plus de 10 des 70 employés de l’entreprise travaillent à plein temps en fiducie et en sécurité, me dit Anand. Ils sont responsables de la construction de garanties comme la vérification de l’âge, des modèles séparés pour les utilisateurs de moins de 18 ans et de nouvelles fonctionnalités telles que les informations parentales, qui permettent aux parents de voir comment leurs adolescents utilisent l’application.
Le modèle des moins de 18 ans a été lancé en décembre dernier. Il comprend «un ensemble plus étroit de personnages consultables sur la plate-forme», selon le porte-parole de la société Kathryn Kelly. “Des filtres ont été appliqués à cet ensemble pour supprimer les caractères liés à des sujets sensibles ou matures.”
Mais Anand dit que la sécurité de l’IA prendra plus que des ajustements techniques. «La sécurité de cette plate-forme est un partenariat entre les régulateurs, les États-Unis et les parents», explique Anand. C’est ce qui fait que regarder sa fille discuter avec un personnage si important. «Cela doit rester en sécurité pour elle.»
Au-delà de la compagnie
Le marché de la compagnie de l’IA est en plein essor. Les consommateurs du monde entier ont dépensé 68 millions de dollars pour la compagnie de l’IA au premier semestre de cette année, une augmentation de 200% par rapport à l’année dernière, selon une estimation citée par CNBC. Les startups AI vivent une tranche du marché: Xai a publié un compagnon effrayant et pornisé en juillet, et même Microsoft facture son chatbot Copilot en tant que compagnon d’IA.
Alors, comment le personnage.ai se démarque-t-il sur un marché bondé? Il s’en retire entièrement.
