Publié le 23 octobre 2025 21:20:00. Des chercheurs s’interrogent sur l’impact d’une exposition prolongée à des contenus en ligne de faible qualité sur les performances des grands modèles de langage (LLM), établissant un parallèle troublant avec les effets de la « pourriture cérébrale » observée chez les humains.
- Une étude récente explore l’hypothèse selon laquelle un entraînement continu sur des textes web peu stimulants pourrait entraîner une dégradation cognitive durable des LLM.
- Les chercheurs ont identifié des ensembles de données « indésirables » basés sur des critères d’engagement superficiel et de qualité sémantique douteuse.
- L’étude s’appuie sur des travaux existants montrant un lien entre une consommation excessive de contenus en ligne triviaux et des troubles de l’attention et de la cognition chez l’homme.
L’idée que la qualité des données d’entraînement est cruciale pour les performances d’un LLM semble intuitive. Cependant, une équipe de chercheurs de la Texas A&M University, de l’Université du Texas et de l’Université Purdue a entrepris de quantifier précisément l’impact des données de « mauvaise qualité » sur ces modèles d’intelligence artificielle. Leur travail, présenté dans un article pré-imprimé publié ce mois-ci, s’inspire d’une observation inquiétante : une consommation excessive de contenus en ligne peu stimulants peut nuire aux capacités cognitives humaines.
Les chercheurs ont établi un parallèle avec ce qu’ils appellent « l’hypothèse de la pourriture cérébrale des LLM », qui postule que « une pré-formation continue sur des textes indésirables du Web induit un déclin cognitif durable chez les LLM ». Ils se sont basés sur des recherches démontrant que les humains exposés à de « grands volumes de contenu en ligne trivial et sans défi » peuvent développer des problèmes d’attention, de mémoire et de cognition sociale.
Définir ce qui constitue un « texte Web indésirable » et un « contenu de qualité » est un défi complexe. Pour mener à bien leur étude, les chercheurs ont utilisé un corpus de 100 millions de tweets provenant de HuggingFace, qu’ils ont divisé en un « ensemble de données indésirables » et un « ensemble de données de contrôle ».
Pour identifier les tweets « indésirables », ils ont d’abord recherché ceux qui maximisent l’engagement des utilisateurs de manière superficielle. Ils ont donc sélectionné les tweets ayant un nombre élevé de « j’aime », de retweets, de réponses et de citations, tout en étant relativement courts, estimant que ces caractéristiques sont indicatives d’un contenu peu substantiel.
Ensuite, ils ont évalué la « qualité sémantique » des tweets à l’aide d’un modèle GPT-4o avancé. Ce modèle a été sollicité pour identifier les tweets traitant de « sujets superficiels (comme les théories du complot, les affirmations exagérées, les affirmations non étayées ou le contenu de style de vie superficiel) » ou adoptant un « style qui attire l’attention (comme des titres sensationnalistes utilisant un langage clickbait ou des mots déclencheurs excessifs) ». Une vérification aléatoire de ces classifications par des étudiants diplômés a confirmé une concordance de 76 pour cent.
Les chercheurs soulignent que la « pourriture du cerveau » chez les humains est souvent liée à une « conséquence de la dépendance à Internet ». Leur étude vise à déterminer si des mécanismes similaires peuvent affecter les LLM, et si une exposition prolongée à des contenus de faible qualité peut compromettre leurs capacités cognitives.
Pour aller plus loin
