Publié le 18 janvier 2024 14:15:00. Une étude surprenante de l’Université de Pennsylvanie suggère que s’adresser à ChatGPT avec impolitesse pourrait paradoxalement améliorer la précision de ses réponses, remettant en question les pratiques éducatives habituelles concernant le respect des assistants numériques.
- Des chercheurs ont constaté que les requêtes impolies à ChatGPT-4o d’OpenAI génèrent des résultats plus précis qu’une formulation polie.
- Ces résultats contredisent des études antérieures qui privilégiaient une approche courtoise avec les modèles de langage.
- Malgré ces observations, les chercheurs déconseillent l’utilisation d’un langage hostile dans les interactions avec l’IA, soulignant les risques pour l’expérience utilisateur et les normes sociales.
Des chercheurs de l’Université de Pennsylvanie ont mis en évidence un phénomène inattendu : l’impolitesse envers ChatGPT peut améliorer la qualité de ses réponses. Leur étude, qui n’a pas encore été soumise à une évaluation par les pairs, révèle que plus les requêtes adressées au modèle ChatGPT-4o d’OpenAI sont formulées de manière abrupte, plus la précision des résultats tend à augmenter.
L’équipe a conçu 50 questions de base sur divers sujets, puis a rédigé cinq versions de chaque question, allant d’un ton extrêmement poli à un ton très grossier. Les résultats sont éloquents : la précision des réponses a progressé de 75,8 % pour les requêtes les plus polies à 84,8 % pour les requêtes les plus impolies. Les chercheurs ont constaté une précision de 80,8 % pour les requêtes simplement polies. Comme le rapporte Fortune, ces chiffres suggèrent une corrélation inattendue entre l’agressivité du langage et la performance de l’IA.
Ces découvertes contrastent avec des recherches antérieures. Une étude publiée en 2024 par des chercheurs du RIKEN Center for Advanced Intelligence Project et de l’Université Waseda de Tokyo avait notamment démontré que « les requêtes impolies entraînent souvent de mauvaises performances ». De même, des travaux menés par Google DeepMind indiquent que l’utilisation de requêtes encourageantes peut améliorer les capacités des modèles de langage à résoudre des problèmes mathématiques de niveau scolaire, suggérant que l’IA est capable de détecter et de réagir aux signaux sociaux.
Ces divergences soulignent la complexité des interactions entre les humains et l’intelligence artificielle. Les chercheurs de Penn State notent également que de légères modifications dans la formulation des requêtes peuvent avoir un impact significatif sur la qualité des résultats, ce qui remet en question la fiabilité et la prévisibilité de ces systèmes. Il est connu que les chatbots IA peuvent fournir des réponses divergentes à des requêtes identiques.
Malgré ces résultats intrigants, les chercheurs mettent en garde contre l’application pratique de ces conclusions.
« Bien que ces résultats soient scientifiquement intéressants, nous ne recommandons pas d’implémenter des interfaces hostiles ou toxiques dans des applications réelles. »
Akhil Kumar, co-auteur de l’étude et professeur d’informatique à Penn State
Ils soulignent que l’utilisation d’un langage insultant ou désobligeant pourrait nuire à l’expérience utilisateur, à l’accessibilité et à l’inclusivité, et contribuer à des normes de communication néfastes.
Cette mise en garde s’inscrit dans un contexte de préoccupations croissantes concernant les impacts sociaux et psychologiques de l’IA générative. Plusieurs incidents mortels, prétendument liés à des interactions avec ChatGPT, ont conduit à des poursuites judiciaires contre OpenAI, soulignant les risques potentiels d’une technologie dont le fonctionnement n’est pas encore entièrement compris.
Akhil Kumar insiste sur l’importance d’une interface structurée.
« Nous souhaitons depuis longtemps que les interfaces conversationnelles interagissent avec les machines. Mais nous réalisons désormais que de telles interfaces présentent également des inconvénients, et qu’elles présentent un certain intérêt. »
Akhil Kumar, co-auteur de l’étude et professeur d’informatique à Penn State