Advertisement

Low power and type II errors in recent ophthalmology research

Published:September 03, 2016DOI:https://doi.org/10.1016/j.jcjo.2016.02.002

      Abstract

      Objective

      To investigate the power of unpaired t tests in prospective, randomized controlled trials when these tests failed to detect a statistically significant difference and to determine the frequency of type II errors.

      Design

      Systematic review and meta-analysis.

      Methods

      We examined all prospective, randomized controlled trials published between 2010 and 2012 in 4 major ophthalmology journals (Archives of Ophthalmology, British Journal of Ophthalmology, Ophthalmology, and American Journal of Ophthalmology). Studies that used unpaired t tests were included. Power was calculated using the number of subjects in each group, standard deviations, and α = 0.05. The difference between control and experimental means was set to be (1) 20% and (2) 50% of the absolute value of the control’s initial conditions. Power and Precision version 4.0 software was used to carry out calculations. Finally, the proportion of articles with type II errors was calculated. β = 0.3 was set as the largest acceptable value for the probability of type II errors.

      Results

      In total, 280 articles were screened. Final analysis included 50 prospective, randomized controlled trials using unpaired t tests. The median power of tests to detect a 50% difference between means was 0.9 and was the same for all 4 journals regardless of the statistical significance of the test. The median power of tests to detect a 20% difference between means ranged from 0.26 to 0.9 for the 4 journals. The median power of these tests to detect a 50% and 20% difference between means was 0.9 and 0.5 for tests that did not achieve statistical significance. A total of 14% and 57% of articles with negative unpaired t tests contained results with β > 0.3 when power was calculated for differences between means of 50% and 20%, respectively.

      Conclusions

      A large portion of studies demonstrate high probabilities of type II errors when detecting small differences between means. The power to detect small difference between means varies across journals. It is, therefore, worthwhile for authors to mention the minimum clinically important difference for individual studies. Journals can consider publishing statistical guidelines for authors to use.
      Day-to-day clinical decisions rely heavily on the evidence base formed by the plethora of studies available to clinicians. Prospective, randomized controlled clinical trials are highly regarded as a robust study and are used to make important clinical decisions that directly affect patient care. The quality of study designs and statistical methods in major clinical journals is improving overtime,
      • Pocock S.J.
      • Hughes M.D.
      • Lee R.J.
      Statistical problems in the reporting of clinical trials: a survey of three medical journals.
      and researchers and journals are being more attentive to statistical methodologies incorporated by studies. The results of well-designed ophthalmic studies with robust methodologies, therefore, have the ability to modify the ways in which diseases are managed.

      RÉSUMÉ

      Objet

      Étudier la puissance de tests t non appariés dans des essais de contrôle randomisés prospectifs quand ces tests n’ont pas détecté un écart statistiquement significatif, et déterminer la fréquence des erreurs de type II.

      Nature

      Examen systématique et méta-analyse.

      Méthodes

      Nous avons examiné tous les essais de contrôle randomisés prospectifs publiés entre 2010 et 2012 dans quatre grands journaux d’ophtalmologie (Archives of Ophthalmology, British Journal of Ophthalmology, Ophthalmology et American Journal of Ophthalmology). Les études qui avaient utilisé des tests t non appariés ont été incluses. La puissance a été calculée d’après le nombre de sujets dans chaque groupe, les écarts-types et un seuil de signification (α) de 0,05. L’écart entre les moyennes de contrôle et les moyennes expérimentales a été fixé à 1) 20 % et 2) à 50 % de la valeur absolue des conditions initiales du contrôle. Le logiciel Power and Precision version 4.0 a été utilisé pour effectuer les calculs. Enfin, on a calculé la proportion d’articles avec des erreurs de type II. Il a été déterminé qu’une probabilité d’erreur de type II de 0,3 (β = 0,3) était la plus élevée acceptable.

      Résultats

      Nous avons analysé 280 articles. L’analyse finale comportait 50 essais de contrôle randomisés prospectifs utilisant des tests t non appariés. La puissance médiane de détection d’un écart de 50 % entre les moyennes était de 0,9 et elle était la même pour les quatre journaux, peu importe la signification statistique du test. La puissance médiane de détection d’un écart de 20 % entre les moyennes allait de 0,26 à 0,9 pour les quatre journaux. Pour les tests qui n’avaient pas atteint le seuil de signification statistique, la puissance médiane de détection d’écarts de 50 % et de 20 % entre les moyennes était de 0,9 et de 0,5, respectivement. En tout, 14 % et 57 % des articles avec des tests t non appariés négatifs contenaient des résultats avec une probabilité d’erreur de type II supérieure à 0,3 lorsqu’on calculait la puissance de détection d’écarts de 50 % et de 20 %, respectivement, entre les moyennes.

      Conclusions

      Une forte proportion des études présentent des probabilités élevées d’erreurs de type II lorsque de petits écarts sont détectés entre les moyennes. La puissance de détection de petits écarts varie d’un journal à l’autre. Il vaut donc la peine, pour les auteurs, de mentionner l’écart minimal cliniquement important pour leurs études. Les journaux pourraient envisager de publier des lignes directrices en matière de statistique à l’usage des auteurs.
      To read this article in full you will need to make a payment

      Purchase one-time access:

      Academic & Personal: 24 hour online accessCorporate R&D Professionals: 24 hour online access
      One-time access price info
      • For academic or personal research use, select 'Academic and Personal'
      • For corporate R&D use, select 'Corporate R&D Professionals'

      Subscribe:

      Subscribe to Canadian Journal of Ophthalmology
      Already a print subscriber? Claim online access
      Already an online subscriber? Sign in
      Institutional Access: Sign in to ScienceDirect

      References

        • Pocock S.J.
        • Hughes M.D.
        • Lee R.J.
        Statistical problems in the reporting of clinical trials: a survey of three medical journals.
        N Engl J Med. 1987; 317: 426-432
        • Freiman J.A.
        • Chalmers T.C.
        • Smith Jr, H.
        • Kuebler R.R.
        The importance of β, the type II error and sample size in the design and interpretation of the randomized control trial. survey of 71 “negative” trials.
        N Engl J Med. 1978; 299: 690-694
        • Liberati A.
        • Himel H.N.
        • Chalmers T.C.
        A quality assessment of randomized control trials of primary treatment of breast cancer.
        J Clin Oncol. 1986; 4: 942-951
        • Williams J.L.
        • Hathaway C.A.
        • Kloster K.L.
        • Layne B.H.
        Low power, type II errors, and other statistical problems in recent cardiovascular research.
        Am J Physiol. 1997; 273: H487-H493
        • Freedman K.B.
        • Back S.
        • Bernstein J.
        Sample size and statistical power of randomised, controlled trials in orthopaedics.
        J Bone Joint Surg. 2001; 83: 397-402