Expliqué | Que sont les chatbots hallucinants ?

L’hallucination dans les chatbots IA, c’est quand une machine fournit des réponses convaincantes mais complètement inventées. | Crédit photo : Getty Images

L’histoire jusqu’ici: Le 11 février, Prabhakar Raghavan, responsable de la recherche et vice-président senior de Google, tout en mettant en garde contre les pièges de l’intelligence artificielle dans les chatbots, a déclaré que cela pouvait parfois conduire à des “hallucinations”. Quelques jours plus tard, des rapports ont révélé que les bêta-testeurs du chatbot Bing de Microsoft avaient reçu des réponses et des accusations inquiétantes de la part de l’IA.

Ces rapports sont apparus alors même que Google et Microsoft ouvraient leurs chatbots compatibles avec l’IA pour les utilisateurs de test. En attendant, des plateformes comme Quora et Alibaba travaillent également sur leurs propres chatbots IA à usage général.

Que sont les chatbots hallucinants ?

L’hallucination dans les chatbots d’IA, c’est quand une machine fournit des réponses convaincantes mais complètement inventées, a expliqué M. Raghavan. Ce n’est pas un phénomène nouveau et les développeurs ont averti que les modèles d’IA étaient convaincus de faits complètement faux, répondant aux requêtes avec des réponses inventées.

En 2022, Meta a publié son chatbot conversationnel AI appelé BlenderBot 3. À l’époque, la société a partagé que BlenderBot 3 était capable de rechercher sur Internet pour discuter avec les utilisateurs de n’importe quel sujet et apprendrait à améliorer ses compétences et sa sécurité grâce aux commentaires des utilisateurs.

(Pour les dernières nouvelles technologiques du jour, s’abonner à notre newsletter technique Today’s Cache)

Cependant, même à cette époque, les ingénieurs de Meta avaient averti qu’il ne fallait pas se fier au chatbot pour obtenir des informations factuelles et que le bot pouvait apparemment “halluciner”.

Un exemple de cela a été vu en 2016 lorsqu’après avoir été en direct sur Twitter pendant seulement 24 heures, le chatbot de Microsoft, Tay, a commencé à répéter des insultes racistes et misogynes aux utilisateurs. Le chatbot, conçu comme une expérience de « compréhension conversationnelle », pourrait être manipulé par les utilisateurs en lui demandant simplement de « répéter après moi ».

Pourquoi les chatbots IA commencent-ils à halluciner ?

Une caractéristique déterminante des modèles sophistiqués de traitement génératif du langage naturel (PNL), les hallucinations, peut se produire parce que ces modèles nécessitent la capacité de reformuler, résumer et présenter des fragments de texte complexes sans contraintes. Cela pose le problème des faits qui ne sont pas sacrés et qui peuvent être traités sous une forme contextuelle lors du tri des informations. Un chatbot IA pourrait éventuellement prendre des informations largement disponibles plutôt que des informations factuelles comme entrée. Le problème devient particulièrement aigu lorsqu’une grammaire complexe ou un matériel source mystérieux est utilisé.

Par conséquent, les modèles d’IA peuvent commencer à présenter et même à croire en des idées ou des informations qui peuvent être incorrectes mais qui leur sont alimentées par un grand nombre d’entrées d’utilisateurs. Et comme ces modèles sont incapables de faire la distinction entre les informations contextuelles et les faits, ils répondent aux requêtes par des réponses incorrectes. Par exemple, à la question « Que dit Albert Einstein à propos des trous noirs ? » Les modèles d’IA peuvent renvoyer une citation rendue célèbre sur Internet plutôt que des informations factuelles basées sur les recherches d’Einstein.

Quelle est la voie à suivre ?

L’un des plus grands défis est l’identification des textes hallucinés, sans qu’il soit nécessaire d’imaginer des modèles de PNL entièrement nouveaux qui intégreront des moyens d’authentifier les faits.

Des recherches sont en cours pour tabuler et rassembler des textes hallucinés à partir de modèles d’IA qui peuvent être utilisés pour formuler une méthode permettant d’identifier les sorties hallucinées et d’incorporer des filtres dans les modèles d’IA pour identifier ces textes et les supprimer.