Disparity between statistical significance and clinical importance in published randomised controlled trials: a methodological study
Esterhuizen TM1, Mbuagbaw L1,2,3,4, Rehman N2, Yanwou N5, Swaby DJ6, Kittle E7, Licht JC7, Thabane L1,2,3,4.
1- Division of Epidemiology and Biostatistics – Stellenbosch University – Cape Town – South Africa
2- Department of Health Research Methods Evidence and Impact – McMaster University – Hamilton – Canada
3- Departments of Anesthesia and Pediatrics – McMaster University – Hamilton – Canada
4- Biostatistics Unit – St Joseph’s Healthcare Hamilton – Hamilton – Canada
5- Public Health Residency Program – McGill University – Montreal – Canada
6- School of Interdisciplinary Science – McMaster University – Hamilton – Canada
7- School of Medicine – University of Limerick – Ireland
BMJ Open. 2025;15(8):e100411. Doi : 10.1136/bmjopen-2025-100411.
Objectifs. Nous avons estimé le niveau de disparité entre la signification statistique et la signification clinique des résultats d’essais contrôlés randomisés (ECR) publiés, et avons analysé les facteurs associés à cette différence. Méthode. Nous avons mené une étude méthodologique des essais publiés entre 2018 et 2022 et répertoriés dans PubMed. Les rapports primaires d’essais de supériorité à deux bras de phase III portant sur des interventions en santé humaine ont été inclus. Les études pharmacocinétiques et les essais pilotes ont été exclus. La relation entre la valeur delta spécifiée ou la différence minimale cliniquement importante (telle que précisée dans le calcul de la taille de l’échantillon) et la puissance de l’effet mesuré a déterminé l’importance clinique des résultats de l’essai. Les études dont l’importance clinique était au moins probable, sans signification statistique, ont été classées comme présentant une disparité SS−CI+, et les études qui n’étaient certainement pas cliniquement pertinentes, mais statistiquement significatives ont été classées comme présentant une disparité SS+CI−. Les facteurs associés à chaque type de disparité ont été explorés par une régression logistique multinomiale. Résultats. 500 essais ont été inclus. Dans 38,4% (n=192) d’entre eux, les informations nécessaires pour quantifier l’importance clinique ne sont pas disponibles. Une disparité globale existe dans 63 des 308 études restantes, soit 20,5% avec un intervalle de confiance (IC) à 95% de 16,2% à 25,5%. La disparité SS+CI− est de 10,3% (15/145) (IC95 [6,1-16,8]) et la disparité SS−CI+ de 29,5% (48/163) (IC95 [22,7-37,2]). Les études testant des traitements traditionnels ou alternatifs sont positivement associées à la disparité SS+CI− par rapport aux essais cliniques classiques. Un faible facteur d’impact des revues, une petite taille d’échantillon, un financement non subventionné ou alors par des bourses et l’absence de mention de la dissimulation de l’attribution sont associés à la disparité SS−CI+. Conclusion. Une disparité entre la signification statistique et l’importance clinique se retrouve jusque dans 20% des ECR. L’importance clinique des résultats doit être prise en compte dans l’interprétation des résultats des essais, et ceux-ci doivent respecter strictement les directives en matière de publication des résultats.
Objectives. We estimated the extent of the disparity between statistical significance and clinical importance in published randomised controlled trials (RCTs), and explored factors associated with this disparity. Design. A methodological study of trials published between 2018 and 2022 and indexed in PubMed was conducted. Primary reports of two-arm, phase three, superiority trials of human health interventions were included. Pharmacokinetic studies and pilot trials were excluded. The relationship between the specified delta value or minimum clinically important difference (as specified in the sample size calculation) and the effect size determined the clinical importance of the trial results. Studies where the clinical importance was at least possible, with no statistical significance, were classified as SS−CI+ disparity, and studies which were definitely not clinically important but statistically significant were classified as SS+CI− disparity. Factors associated with each type of disparity were explored at the study level using multinomial logistic regression. Results. 500 trials were included. In 38.4% (n=192) of these, information was not available to classify clinical importance. Overall disparity was found in 63 of the remaining 308 studies, 20.5% (95% confidence interval (CI) 16.2% to 25.5%). SS+CI− disparity was 10.3% (15/145) (95% CI 6.1% to 16.8%) and SS−CI+ disparity was 29.5% (48/163) (95% CI 22.7% to 37.2%). Studies testing complementary or alternative medicines relative to drug trials were positively associated with SS+CI− disparity. Low journal impact factor, small sample size, unfunded or grant funding and failure to mention allocation concealment were positively associated with SS−CI+disparity. Conclusions. In up to 20% of RCTs, there may be a disparity between statistical significance and clinical importance. Clinical importance of results should be taken into account in the interpretation of trial results, and trials should adhere stringently to reporting guidelines.
Laurent M. « Un résultat significatif » ? Précisez, s’il vous plaît ! Risques & Qualité. 2025;22(3):172-173.