Nouvelles tendances des revues médicales : l’utilisation limitée de la p-valeur au profit des indicateurs estimés et des intervalles de confiance

Depuis les recommandations de l’American Statistical Association (Wassertein, 2016), les p-valeurs n’ont plus le vent en poupe. A la suite d’autres revues prestigieuses (Nature, JAMA…), le New England Journal of Medicine (NEJM) a donc franchi le pas. Le Journal a récemment publié de nouvelles guidelines, avec notamment cette exigence : remplacer la traditionelle p-valeur comme critère de décision par la valeur estimée des effets et leur intervalle de confiance, lorsque ni le protocole d’étude ni le plan d’analyse statistique ne décrivent des méthodes d’ajustement pour comparaisons multiples (Harrington, 2019).

Hier tant utilisée, pourquoi la p-valeur est-elle aujourd’hui remise en question ?

Considérons l’exemple d’une étude clinique où l’investigateur cherche à démontrer qu’un traitement augmente les chances de guérison. Pour cela, il peut s’appuyer sur un indicateur nommé l’odds ratio (OR), qui est supérieur à 1 quand le traitement est efficace, et inférieur ou égal à 1 sinon. On suppose ici que d’après les données, le traitement testé a 1.25 fois plus de chance de guérir, ie OR= 1.25 et donc log(OR) = 0.22. Dans ce cas, le test statistique approprié correspond à la comparaison des hypothèses suivantes :

H0 : log⁡(OR) = 0      (pas d’effet de l’ intervention)
H1 : log⁡(OR) ≠0                   (effet de l’ intervention)

Rigoureusement, la p-valeur correspond à la probabilité d’apparition de l’événement observé lorsque l’hypothèse nulle (notée H0) est vraie. Si la p-valeur du test précédent est égale à 0.03, cela signifie que, dans le cas où l’hypothèse  est vraie (c’est-à-dire que l’intervention n’a pas d’effet), la probabilité d’observer un effet de l’intervention à 1.25 est de 3%. Une p-valeur < 5%, amène généralement à rejeter . On considère qu’il est trop peu probable (moins d’une chance sur 20) d’être sous l’hypothèse nulle , et qu’il est préférable de retenir l’hypothèse alternative  Dans notre exemple, on accepte l’hypothèse alternative  et on considère qu’il existe un effet de l’intervention sur la guérison, avec un risque d’erreur de 5%.

Toutefois, ce test statistique suppose qu’il n’existe pas de facteurs qui « confondent » la relation entre l’intervention et la guérison. Dans cet unique cas, l’effet estimé de l’intervention peut alors s’interpréter comme un effet de cause à effet, sans biais. Randomisation des patients, double-aveugle, intention de traiter… ces différents principes appliqués aux essais randomisés contrôlés visent justement à éviter tous biais liés à la présence d’autres facteurs. Dans ce contexte, la p-valeur a toujours été considérée comme un indicateur fiable de la réalité de l’effet, et un précieux support d’aide à la décision.

Le NEJM recense néanmoins plusieurs limites à l’utilisation de la p-valeur, y compris dans les essais cliniques :

• La p-valeur est souvent interprétée, à tort, comme la probabilité d’être sous l’hypothèse nulle. Une p-valeur inférieure à 5% ne signifie pas qu’il y a moins de 5% de chance d’être sous l’hypothèse nulle.
• La p-valeur ne fournit pas d’indication sur l’ordre de grandeur de l’effet ni sur sa variabilité.
• Il existe souvent plusieurs critères d’intérêt dans une étude, ce qui conduit à faire des comparaisons multiples et à augmenter le risque d’erreur de première espèce (risque alpha). Le risque de rejeter à tort croît très rapidement à raison de 1-(1-a)^K, où K représente le nombre de critères évalués. Le NEJM rappelle notamment que lorsque 10 tests d’association statistiques sont conduits sur 10 critères différents, la probabilité de conclure à tort à l’efficacité de l’intervention sur au moins un des 10 tests est de 40%.
• Enfin, réduire la notion d’efficacité d’une intervention à l’atteinte d’un seuil de 5% peut être considéré comme une vision réductrice de la médecine ne reflétant pas la réalité.

Quelles solutions alternatives sont recommandées ?

Le NEJM préconise l’utilisation des seuils statistiques pour conclure à un effet de l’intervention uniquement dans le cas où le plan d’analyse statistique spécifie des méthodes d’ajustement du risque alpha. Il préconise également de présenter l’estimation des effets et leur intervalle de confiance pour l’évaluation des bénéfices et risques de l’intervention.

La revue Nature va plus loin en assumant qu’il faut cesser de fonder les conclusions sur le seuil de significativité (Amrhein, 2019) :

• Par exemple, conclure qu’il n’existe pas de différence ou d’effet juste parce que la p-valeur est supérieure à 5%, ou, de manière équivalente, lorsqu’un intervalle de confiance contient la valeur 0 (ou 1 selon l’indicateur considéré).
• Ou conclure que deux études se contredisent, parce que l’une présente des résultats significatifs et l’autre non.

Nature prône l’abandon du seuil de significativité sans pour autant bannir la p-valeur. Elle recommande plutôt de considérer l’effet observé (le point estimé) et son intervalle de confiance, et de commenter l’implication pratique du fait que l’effet observé se situe sur une échelle de valeurs possibles. Il s’agit de voir l’intervalle de confiance comme un « intervalle de compatibilité », c’est-à-dire un ensemble de valeurs possibles de l’effet, compatible avec les données, sous l’hypothèse testée. Une valeur se situant en dehors de l’intervalle ne serait pas « incompatible », mais simplement moins compatible. La revue est également ouverte à la considération d’autres niveaux de confiance que 95% pour le calcul des intervalles de confiance.

Récemment, un nouvel article de l’American Statistical Association a recensé plusieurs alternatives à la considération des points estimés et de leur intervalle de confiance (Wassertstein, 2019). Une multitude de « p-valeurs deuxième génération » voit actuellement le jour, comme par exemple celle issue d’un test statistique où l’hypothèse alternative  correspond à un effet minimal observé. D’autres indicateurs comme le facteur de Bayes ou le calcul d’intervalle de plausibilité pour plusieurs hypothèses considérées sont également intéressantes à considérer.De manière générale, la tendance est à l’abandon de tout critère dichotomique dans un domaine où l’incertitude est omniprésente, et où le design, la qualité des données, et les biais méthodologiques ont souvent plus d’importance sur les conclusions d’une étude que le seuil de significativité.

M.DUFOURNET, P.CLERSON, C.TUDAL

Références

Amrhein et al. (2019). Scientists rise up against statistical significance. Nature, 305.

Harrington et al. (2019). New Guidelines for Statistical Reporting in the Journal. New England Journal of Medicine, 285-286.

Wasserstein et al. (2016). The ASA’s statement on p-values: context, process, and purpose. The American statistician 70.2, 129-133.

Wasserstein et al. (2019). Moving to a world beyond p < 0.05. The American statistician, 1-19.