Investigating the impact of trial retractions on the healthcare evidence ecosystem (VITALITY study I): Retrospective cohort study
Xu C1, Fan S1, Tian Y1, et al. and on behalf of the VITALITY Collaborative Research Network.
1- Proof of Concept Center – Eastern Hepatobiliary Surgery Hospital – Third Affiliated Hospital – Second Military Medical University – Naval Medical University – Shanghai – China
BMJ. 2025;389:e082068. Doi : 10.1136/bmj-2024-082068.
Objectif. Étudier l’impact des études rétractées sur la production et l’utilisation de données probantes en matière de soins de santé dans l’écosystème des données probantes. Conception. Étude de cohorte rétrospective basée sur la recherche de citations. Sources des données. Retraction Watch jusqu’au 5 novembre 2024. Sélection des études. Les essais contrôlés randomisés chez l’homme qui ont été rétractés pour quelque raison que ce soit. Méthodes. La recherche des citations des articles rétractés par Google Scholar et par Scopus a été utilisée pour identifier les recherches de synthèse de données probantes (21 novembre 2024) qui intégraient quantitativement les essais rétractés. Les données ont été extraites de manière indépendante par deux groupes de chercheurs. Les résultats des méta-analyses ont été recalculés après exclusion des résultats des études rétractées. Les proportions de méta-analyses dont la direction de l’effet ou sa signification ont été modifiées sont estimées. Un modèle linéaire généralisé mixte a été utilisé pour étudier l’association entre le nombre d’études incluses et l’impact, mesuré par le rapport de cotes et l’intervalle de confiance (IC) à 95%. L’impact des preuves faussées sur les recommandations de pratique clinique a également été étudié sur la même base d’une recherche de citations. Résultats. Les recherches ont permis d’identifier 1 330 études rétractées et 847 revues systématiques qui synthétisaient quantitativement celles-ci, avec un total de 3 902 méta-analyses qui ont pu être reproduites. Après prise en compte des effets potentiels de regroupement, le calcul après l’exclusion des résultats des études rétractées a entraîné un changement dans la direction de l’effet dans 8,4% des cas (IC95 [6,8-10,1]), dans sa signification statistique dans 16,0% [14,2-17,9], et à la fois dans la direction et la significativité dans 3,9% ([2,5-5,2]) et à un changement >50% de l’amplitude de l’effet dans 15,7% ([13,5-17,9]). Une association linéaire inverse évidente existe entre le nombre d’études incluses et l’impact sur les résultats : au moins d’études rétractées incluses au plus grand l’impact (par exemple, pour 10 études rétractées contre ≥20 études, changement de direction de l’impact : rapport de cotes 2,63, IC95 [1,29-5,38] ; P<0,001). Les données issues de 68 revues systématiques dont les conclusions ont été faussées par des essais retirés ont été utilisées dans 157 documents de recommandations cliniques. Conclusion. Les études rétractées ont un impact substantiel sur l’écosystème des données probantes, notamment sur la synthèse des données, les recommandations de pratique clinique et la pratique clinique fondée sur les données probantes. Les producteurs, les synthétiseurs et les utilisateurs de données probantes doivent prêter attention à ce problème. Des approches réalisables qui permettraient de faciliter l’identification et la correction de cette contamination sont indispensables.
Objective. To investigate the impact of retracted trials on the production and use of healthcare evidence in the evidence ecosystem. Design. Retrospective cohort study based on forward citation searching. Data sources. Retraction Watch up to 5 November 2024. Study selection. Randomised controlled trials in humans that were retracted for any reason. Methods. Forward citation searching via Google Scholar and Scopus was used to identify evidence synthesis research (21 November 2024) that quantitatively incorporated retracted trials. Data were independently extracted by two groups of researchers. The results of meta-analyses were updated after exclusion of the retracted trials. The proportions of meta-analyses that changed direction of the pooled effect and/ or the significance of the P value were estimated. A generalised linear mixed model was used to investigate the association between the number of included studies and the impact, measured by odds ratio and 95% confidence interval (CI). The impact of distorted evidence on clinical practice guidelines was also investigated on the basis of citation searching. Results. The searches identified 1330 retracted trials and 847 systematic reviews that quantitatively synthesised retracted trials, with a total of 3902 meta-analyses that could be replicated. After the potential clustering effects were accounted for, the exclusion of the retracted trials led to a change in the direction of the pooled effect in 8.4% (95% CI 6.8% to 10.1%), in its statistical significance in 16.0% (14.2% to 17.9%), and in both direction and significance in 3.9% (2.5% to 5.2%) and a >50% change in the magnitude of the effect in 15.7% (13.5% to 17.9%). An obvious non-linear association existed between the number of included studies and the impact on the results, with a lower number of studies having higher impact (eg, for 10 studies versus ≥20 studies, change of direction: odds ratio 2.63, 95% CI 1.29 to 5.38; P<0.001). Evidence from 68 systematic reviews with conclusions distorted by retracted trials was used in 157 guideline documents. Conclusion. Retracted trials have a substantial impact on the evidence ecosystem, including evidence synthesis, clinical practice guidelines, and evidence based clinical practice. Evidence generators, synthesisers, and users must pay attention to this problem, and feasible approaches that assist with easier identification and correction of such potential contamination are needed.
Laurent M. La qualité de nos informations scientifique : un « nouveau » risque à prendre en compte – Article II. Risques & Qualité. 2025;22(2):109-111.