Purpose. Significant increases in the volume of preprint articles due to the Covid-19 pandemic, we examined the reliability of preprint articles compared to their peer-reviewed publications. Materials and methods. Preprint articles evaluating experimental studies of select treatment options (anticoagulation, dexamethasone, hydroxychloroquine, remdesivir, and tocilizumab) for Covid-19 in the critically ill, available in a peer-reviewed publication were screened for inclusion within Altmetric (n=2040). A total of 40 articles met inclusion criteria, with 21 being randomly selected for evaluation. The primary outcome of this evaluation was a change in a study’s reported primary outcome or statistical significance between preprint and peer-reviewed articles. Secondary outcomes included changes in primary/secondary outcome effect size and change in study conclusion. Results. One article (4.8%, 95% CI 0.12%-23.8%) had a change in the primary outcome. Seven articles (33.3%, 95% CI 14.6%-57.0%) had a change in the primary outcome’s effect measure. Five studies (23.8%, 95% CI 8.2%-47.2%) had changes in statistical significance of at least one secondary outcome. Four studies (19.0%, 95% CI 5.4%-41.9%) had a change in study conclusion. Conclusions. In preprint articles of Covid-19 treatments, the provided primary outcome is generally reliable, while interpretation of secondary outcomes should be made with caution, while awaiting completion of the peer-review process. Background. The Covid-19 pandemic required clinicians to care for a disease with evolving characteristics while also adhering to care changes (e.g., physical distancing practices) that might lead to diagnostic errors (DEs).
Commentaire du Dr Marius Laurent (PAQS)
- La pandémie de Covid-19 a pris les cliniciens de court : peu de données épidémiologiques, étiologiques ou thérapeutiques disponibles, alors que la menace était omniprésente et pressante. Les équipes « pilotaient sans visibilité » et le besoin d’information l’emportait parfois sur leur parfaite fiabilité. Nous avons assisté à un mouvement vertueux (pour une fois) de la plupart des éditeurs scientifiques qui ont mis en « accès libre » tout ce qui se publiait sur le sujet, et qui ont publié ou permis la publication de « preprints », c.-à-d. une version des articles qui leur étaient soumis avant l’intervention de la « revue par les pairs ». Cet article compare les preprints avec leur version définitive et estime jusqu’à quel point ce processus de publication rapide a pu (éventuellement) détériorer leur fiabilité. Il s’agit d’article parlant de traitement de la Covid-19 chez des patients critiques. Peut-on leur faire confiance ? Il peut y avoir des différences dans la mesure des résultats primaires, la plupart du temps de faible amplitude (un changement significatif autour de l’hydroxychloroquine et trois modifications des conclusions, par exemple reformulant le résultat obtenu, probablement à la suggestion des reviewers). Les résultats secondaires sont cependant moins fiables et doivent être pris avec une certaine distance. Ce type de publication fait gagner du temps : au moins 16 semaines dans la plupart des cas, ce qui peut être vital dans une situation aussi inédite que la pandémie pour des patients en état critique. L’article se cantonne à la comparaison des preprints avec les articles définitifs et évite toute référence aux études sans lendemain dans des journaux complaisants promotionnant l’un ou l’autre traitement prétendument miraculeux. L’incorporation d’un preprint comme justification d’une pratique clinique est donc raisonnable dans une situation d’urgence comme on en a connu, d’autant que l’état du patient nécessite des mesures rapides. Est-ce encore le cas ? Peut-être pas, mais l’émergence de variants nouveaux peut à tout moment rebattre les cartes.
Morin C, Padki A, Wong A, et al.Comparison of Covid-19 preprint and peer-reviewed versions of studies on therapies for critically ill patients. J Intensive Care Med 2023.
Doi : 10.1177/08850666231182563.