Publié le 2025-12-23 10:54:00. Une nouvelle étude met en lumière une possible corrélation entre le fait pour un évaluateur de se voir citer dans un article et sa recommandation finale, tout en soulignant les limites inhérentes à ce type d’analyse observationnelle.
- L’étude révèle une possible influence des citations sur les recommandations des évaluateurs, bien que cette association puisse être sous-estimée en raison de lacunes dans la collecte de données.
- Les chercheurs insistent sur la nécessité d’interpréter les résultats avec prudence, compte tenu de la nature observationnelle de l’étude et des potentielles erreurs de mesure.
- L’analyse se concentre sur un modèle spécifique d’évaluation par les pairs (publication-révision-conservation) et pourrait ne pas être généralisable à d’autres systèmes.
Cette recherche, qui se présente comme la première à utiliser une méthodologie rigoureuse d’appariement pour analyser les citations des évaluateurs, explore un aspect souvent négligé du processus d’évaluation par les pairs. Les chercheurs ont comparé les évaluations de différents experts ayant examiné le même article, ce qui leur a permis de mieux isoler l’impact des citations sur leurs recommandations. Ils reconnaissent toutefois que leur analyse n’est pas sans limites.
L’étude prend en compte le fait que la collecte de données n’est pas exhaustive et que certaines citations peuvent échapper à leur analyse, notamment celles issues d’actes de conférence ou de rapports techniques qui ne disposent pas toujours d’un DOI (Digital Object Identifier). Cette omission pourrait conduire à une sous-estimation de l’association réelle entre citations et recommandations, car elle réduit la variabilité des données et introduit un biais de régression. Les chercheurs soulignent que si l’association entre citations et recommandations varie en fonction de la présence ou non d’un DOI, leurs estimations pourraient être faussées. Ils notent également que les évaluateurs peuvent privilégier les citations dans des publications indexées, celles-ci étant plus susceptibles d’être prises en compte dans le calcul de leur indice h (Feu et Guestrin, 2019).
L’étude s’est concentrée sur la présence ou l’absence de citations, et non sur leur tonalité. Les auteurs reconnaissent qu’une citation critique pourrait avoir un effet inverse, réduisant les chances d’une recommandation positive. Ils suggèrent qu’une analyse future intégrant le sentiment exprimé dans les citations pourrait apporter des éclaircissements supplémentaires, bien que des recherches antérieures indiquent que la plupart des citations sont neutres ou positives (Tahamtan et Bornmann, 2019).
Les chercheurs n’ont pas non plus examiné les réponses des auteurs aux évaluateurs, qui pourraient contenir des informations précieuses sur les raisons pour lesquelles une citation a été incluse ou non dans une version révisée de l’article. Une analyse approfondie des échanges entre auteurs et évaluateurs pourrait offrir une meilleure compréhension du processus d’évaluation par les pairs.
Les résultats de cette étude pourraient ne pas être directement applicables aux revues qui utilisent l’évaluation en aveugle ou un modèle d’évaluation par les pairs différent de celui étudié. Une recherche antérieure (
Enfin, les chercheurs ont identifié un biais dans leur échantillon, les évaluateurs juniors étant sous-représentés en raison de critères d’expertise plus stricts. Ils estiment que ce biais, bien que mesurable (5 % des avis perdus, soit 2026 sur 39 113), est probablement suffisamment faible pour ne pas compromettre de manière significative les conclusions de l’étude.
À ne pas manquer
