Pour les citations de recherche, aucune réplication n’est pas un problème

Au cours de la dernière décennie, il est devenu évident qu’un certain nombre de domaines de recherche avaient des problèmes de reproduction. Les résultats publiés n’ont pas toujours survécu aux tentatives de répétition d’expériences. L’ampleur du problème était un sujet de débat, de sorte qu’un certain nombre de projets de reproductibilité se sont formés pour fournir des chiffres précis. Et les résultats n’étaient pas excellents, la plupart ayant conclu que seule la moitié environ des études publiées pouvaient être répétées.

Ces projets de reproductibilité auraient dû servir à plusieurs fins. Ils soulignent l’importance de garantir que les résultats soient répliqués aux bailleurs de fonds et aux éditeurs scientifiques, qui hésitent à soutenir ce qui pourrait être considéré comme une recherche répétitive. Ils devraient encourager les chercheurs à intégrer des réplications internes dans leurs plans de recherche. Et, enfin, ils devraient mettre en garde contre le fait de s’appuyer sur des recherches dont il a déjà été démontré qu’elles avaient des problèmes de réplication.

Bien qu’il y ait des progrès sur les deux premiers objectifs, le dernier aspect est apparemment toujours problématique, selon deux chercheurs de l’Université de Californie à San Diego.

Le mot ne sort pas

Les chercheurs à l’origine du nouveau travail, Marta Serra-Garcia et Uri Gneezy, ont commencé avec trois grands projets de réplication: l’un axé sur l’économie, l’autre sur la psychologie et l’autre sur les sciences générales. Chaque projet a pris une collection de résultats publiés sur le terrain et a tenté de reproduire une expérience clé à partir de celui-ci. Et, quelque part environ la moitié du temps, les tentatives de réplication ont échoué.

Cela ne veut pas dire que les publications originales étaient fausses ou inutiles. La plupart des publications sont construites à partir d’une collection d’expériences plutôt que d’une seule, il est donc possible qu’il y ait encore des données valides et utiles dans chaque article. Mais, même dans ce cas, l’œuvre originale doit être abordée avec un scepticisme accru; si quelqu’un cite l’œuvre originale dans ses propres articles, son échec à reproduire devrait probablement être mentionné.

Serra-Garcia et Gneezy ont décidé qu’ils voulaient savoir: les articles contenant des expériences qui ont échoué à la réplication sont-ils toujours cités, et si oui, cet échec est-il mentionné?

Répondre à ces questions impliquait une recherche documentaire massive, les auteurs recherchant les articles qui citaient les articles utilisés dans les études de réplication et cherchant à savoir si ceux qui avaient des problèmes étaient signalés comme tels. La réponse courte est que les nouvelles ne sont pas bonnes. La réponse la plus longue est que presque rien dans cette recherche ne semble bon.

Les données avec lesquelles Serra-Garcia et Gneezy ont dû travailler comprenaient un mélange d’études qui présentaient des problèmes de réplication et celles qui, du moins à notre connaissance, sont toujours valables. Il était donc relativement facile de comparer les différences de citations pour ces deux groupes et de voir si des tendances se dégageaient.

Une tendance évidente était une énorme différence dans les citations. Les études présentant des problèmes de réplication ont été citées en moyenne 153 fois plus souvent que ceux qui se sont répliqués proprement. En fait, mieux une expérience a été répliquée, moins elle a reçu de citations. L’effet était encore plus grand pour les articles publiés dans les revues de grand prestige Nature and Science.

Manquer l’évidence

Ce serait bien si beaucoup de ces références étaient des caractérisations des problèmes de réplication. Mais ils ne le sont pas. Seulement 12 pour cent des citations qui ont été faites après que les problèmes de réplication de l’article sont devenus connus mentionnent le problème du tout.

Il serait bon de penser que seuls les papiers de qualité inférieure citent ceux qui présentent des problèmes de réplication. Mais ce n’est apparemment pas le cas. Encore une fois, la comparaison des groupes d’articles qui citaient des expériences qui se sont répliquées ou non n’a pas donné de différence significative dans le prestige des revues dans lesquelles ils étaient publiés. Et les deux groupes d’articles ont fini par obtenir un nombre similaire de citations.

Donc, dans l’ensemble, les chercheurs ne sont apparemment pas conscients des problèmes de réplication, ou ils ne les considèrent pas comme suffisamment sérieux pour éviter de citer l’article. Il y a de nombreux contributeurs potentiels ici. Contrairement aux rétractations, la plupart des revues n’ont aucun moyen de noter qu’une publication a un problème de réplication. Et les chercheurs eux-mêmes peuvent simplement conserver une liste standard de références dans un gestionnaire de base de données, plutôt que de revérifier son statut (un nombre inquiétant d’articles rétractés reçoivent toujours des citations, il y a donc clairement un problème ici).

Le défi, cependant, est de trouver comment corriger le problème de réplication. Un certain nombre de revues ont fait des efforts pour publier des réplications, et les chercheurs eux-mêmes semblent beaucoup plus susceptibles d’intégrer des répliques de leurs propres travaux dans leurs études initiales. Mais rendre tout le monde à la fois conscient et prudent des résultats qui n’ont pas été reproduits est un défi sans solution évidente.

Science Advances, 2021. DOI: 10.1126 / sciadv.abd1705 (À propos des DOI).

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Recent News

Editor's Pick