Publié le 21 décembre 2023 14h40:00. Une étude menée par des chercheurs irlandais révèle que l’écriture générée par l’intelligence artificielle conserve des caractéristiques stylistiques distinctes de celle produite par les humains, malgré des progrès considérables en matière de fluidité et de cohérence.
- L’étude utilise la stylométrie, une méthode d’analyse littéraire, pour comparer les styles d’écriture humains et ceux des modèles de langage comme ChatGPT.
- Les systèmes d’IA, bien que capables de produire un texte soigné, présentent une uniformité stylistique que l’on ne retrouve pas dans l’écriture humaine.
- Les chercheurs mettent en garde contre l’utilisation de la stylométrie pour détecter l’IA dans le contexte éducatif, tout en soulignant son intérêt pour comprendre les différences fondamentales entre l’expression humaine et la génération algorithmique.
Des chercheurs du Collège universitaire de Cork (UCC) ont publié une étude novatrice démontrant que l’intelligence artificielle, même dans ses versions les plus avancées, laisse une empreinte stylistique identifiable dans ses productions textuelles. Cette recherche, première du genre à employer la stylométrie littéraire – traditionnellement utilisée pour déterminer la paternité d’œuvres littéraires – compare les styles d’écriture des humains et des grands modèles de langage (LLM) tels que ChatGPT à travers des textes de fiction.
L’analyse, menée par le Dr James O’Sullivan de l’UCC School of English and Digital Humanities, s’est appuyée sur l’examen de centaines de nouvelles écrites par des auteurs humains et de textes générés par des systèmes d’IA. En scrutant des marqueurs linguistiques subtils, notamment la fréquence d’utilisation de mots courants, les chercheurs ont mis en évidence des différences stylistiques claires et constantes.
Selon l’étude, les systèmes d’IA comme GPT-3.5, GPT-4 et Llama 70B tendent à produire des textes regroupés en clusters stylistiques homogènes, reflétant les schémas prévisibles propres à chaque modèle. À l’inverse, l’écriture humaine se caractérise par une plus grande variation et une individualité marquée, façonnées par la voix personnelle de l’auteur, son intention créative et son expérience unique.
Les chercheurs ont constaté que GPT-4, la version la plus récente analysée, produit un texte encore plus uniforme que GPT-3.5, mais que les deux restent fondamentalement distincts du travail humain. Bien que GPT-3.5 puisse parfois imiter le style humain, ces occurrences restent rares.
« Bien que l’écriture de l’IA soit souvent raffinée et cohérente, elle a tendance à montrer plus d’uniformité dans le choix des mots et le rythme. En revanche, l’écriture humaine reste plus variée et idiosyncratique, reflétant les habitudes, les préférences et les choix créatifs individuels. »
Dr James O’Sullivan, UCC School of English and Digital Humanities
Le Dr O’Sullivan souligne que les modèles d’IA génèrent des styles compacts et prévisibles, tandis que l’écriture humaine conserve une plus grande diversité et une touche idiosyncratique, des traits qui témoignent de l’individualité et de l’intention créative. Il ajoute que même lorsque ChatGPT tente de simuler un style humain, son écriture conserve une “empreinte digitale” détectable, suggérant que les ordinateurs et les humains n’écrivent pas encore de la même manière.
Les chercheurs mettent toutefois en garde contre l’utilisation de la stylométrie comme outil de détection de l’IA dans le domaine de l’éducation. Ils soulignent que l’écriture des étudiants est influencée par de nombreux facteurs contextuels et personnels, ce qui rend une détection stylométrique peu fiable et potentiellement injuste. Ils insistent sur le fait que la stylométrie est plus utile pour comprendre les différences fondamentales entre l’expression humaine et la génération algorithmique.
« L’écriture des étudiants change d’une tâche à l’autre et est façonnée par le contexte, le soutien et l’expérience vécue, ce qui rend la détection stylométrique à la fois peu fiable et éthiquement discutable dans les cas d’intégrité académique. »
Dr James O’Sullivan, UCC School of English and Digital Humanities
Les chercheurs appellent à la prudence et à une réflexion éthique approfondie face à l’utilisation croissante de l’IA générative. Ils soulignent la nécessité de disposer d’ensembles de données plus vastes, de nouvelles méthodes d’évaluation et d’une attention accrue aux questions soulevées par l’automatisation de la production littéraire, notamment en ce qui concerne l’authenticité, l’originalité et la notion même de paternité.
Selon le Dr O’Sullivan, si la capacité d’un LLM à produire de manière fiable un e-mail ou un rapport de synthèse est notable, l’automatisation de la production littéraire soulève des « profondes préoccupations éthiques et philosophiques ». La recherche a été dirigée par le Dr O’Sullivan et est publiée dans Nature — Humanities and Social Sciences Communications.
À lire aussi
