Inclusion of retracted studies in systematic reviews and meta-analyses of interventions: A systematic review and meta-analysis
Grana Possamai C1,2,3, Cabanac G4,5, Perrodeau E1,2,3, et al.
1- Centre for research in epidemiology and statistics (CRESS) – Université Paris Cité – Université Sorbonne Paris Nord – Institut national de la santé et de la recherche médicale (Inserm) – Institut national de la recherche agronomique (Inrae) – Paris – France
2- Centre d’Épidémiologie Clinique – Hôpital Hôtel-Dieu – Assistance publique-Hôpitaux de Paris – Paris – France
3- Cochrane France – Paris – France
4- Institut de Recherche en Informatique (Irit) – UMR 5505 – Centre national de la recherche scientifique – Université Toulouse 3-Paul Sabatier – Toulouse – France
5- Institut Universitaire de France – Paris – France
JAMA Intern Med. 2025:e250256. Doi : 10.1001/jamainternmed.2025.0256. Online ahead of print.
Importance. Le nombre de rétractions augmente dans la littérature scientifique, ce qui accroît le risque de voir des résultats peu fiables être réutilisés. Objectifs. Identifier les comptes rendus de revues systématiques qui ont inclus des études rétractées dans leurs méta-analyses et évaluer l’impact de ces rétractions sur les résultats. Conception, cadre et participants. Dans le cadre de cette revue systématique et de cette méta-analyse, l’outil Feet of Clay Detector a été utilisé pour identifier toutes les revues systématiques qui mentionnaient au moins une méta-analyse incluant une ou plusieurs études rétractées. On n’a retenu que les articles publiés entre janvier 2013 et avril 2024 dans les 25 revues médicales (générales et internes) ayant le plus haut facteur d’impact. La contribution de chaque étude rétractée a été évaluée. Pour chaque méta-analyse, les effets sont calculés en tenant compte des études rétractées, puis en les excluant. Résultats. Au total, 61 revues systématiques qui incluent des études rétractées dans leurs méta-analyses ont été identifiées. Parmi celles-ci, 11 (18%) ont été soit réécrites, soit rétractées ou retirées. Les données ont été extraites des 50 revues systématiques qui comprenaient au total 62 études retirées. Le retrait est intervenu après la publication dans 37 revues systématiques (74%). Au total, 173 méta-analyses incluant une étude retirée ont été identifiées ; 70 d’entre elles (40%) concernaient des résultats principaux. Cent soixante-six méta-analyses ont été recalculées. Au total, 160 (96%) des 166 estimations d’effet recalculées se situaient dans les intervalles de confiance (IC) de l’effet initial. Après exclusion de l’étude rétractée, la signification statistique des résultats a toutefois changé dans 18 méta-analyses (11%). L’évolution entre les estimations d’effet avec et sans études rétractées pour 163 méta-analyses au total a été calculée, et en particulier pour les 64 d’entre elles portant sur les résultats primaires des revues systématiques. Pour les résultats primaires (n=64), les estimations d’effet recalculées ont changé d’au moins 10% dans 27 méta-analyses (42%), de 30% dans 16 (25%) et de 50% dans 12 (19%). Dans l’ensemble (n=163), les estimations des effets ont changé d’au moins 10% dans 57 méta-analyses (35%), de 30% dans 31 (19%) et de 50% dans 23 (14%). Conclusions et pertinence. Cette étude a révélé que des études rétractées ont été incluses dans des revues systématiques et des méta-analyses, les rétractions survenant principalement après la publication de la revue systématique. L’inclusion d’études rétractées peut avoir une incidence sur les résultats et l’interprétation des revues. Des mesures de contrôle de la qualité devraient être mises en œuvre pour empêcher la diffusion de données peu fiables dans la littérature scientifique.
Importance. Retractions are rising in the scientific literature, increasing the risk of reusing unreliable results. Objectives. To identify reports of systematic reviews that included retracted studies in their meta-analyses, and to assess the impact of these retracted studies on the results. Design, setting, and participants. In this systematic review and meta-analysis the Feet of Clay Detector tool was searched to identify all systematic reviews that reported at least 1 meta-analysis including at least 1 retracted study and were published in the 25 highest impact factor journals in medicine, general and internal, from January 2013 to April 2024. All effect estimates where the retracted study contributed to the analysis were identified. For each meta-analysis, the summary effect, including all studies and excluding retracted studies was calculated. The search was conducted on April 8, 2024. Results. Overall, 61 systematic reviews were identified that included retracted studies in their meta-analyses. Of these, 11 (18%) have been republished, retracted, or withdrawn. Data were extracted from 50 systematic reviews that included a total of 62 retracted studies. Retraction occurred after the publication in 37 systematic reviews (74%). Overall, 173 meta-analyses including the retracted study were identified; 70 of them (40%) were primary outcomes. One-hundred sixty-six meta-analyses were recalculated. Overall, 160 (96%) of the 166 recalculated effect estimates were within the CIs of the original effect. After exclusion of the retracted study, the statistical significance of the results changed in 18 meta-analyses (11%). The rate of evolution between effect estimates with and without retracted studies for 163 meta-analyses overall were calculated, including 64 addressing the primary outcomes of the systematic reviews. For primary outcomes (n = 64), the recalculated effect estimates changed by at least 10% in 27 meta-analyses (42%), 30% in 16 (25%), and 50% in 12 (19%). Overall (n = 163), effect estimates changed by at least 10% in 57 meta-analyses (35%), 30% in 31 (19%), and 50% in 23 (14%). Conclusions and relevance. This study found that retracted studies have been included in systematic reviews and meta-analyses, with retractions occurring mainly after the publication of the systematic review. The inclusion of retracted studies can impact the results and interpretation of reviews. Quality control measures should be implemented to prevent the dissemination of unreliable data in scientific literature.
Laurent M. La qualité de nos informations scientifique : un « nouveau » risque à prendre en compte – Article I. Risques & Qualité. 2025;22(2):108-111.