ActuKine.com - Actualité de la Kinésithérapie et de la Physiothérapie
              
Evidence Based Practice

Les pièges des valeurs p (3)

Rédigé par Corentin Glon le Mercredi 18 Décembre 2013



Les pièges des valeurs p (3)
Nous allons continuer notre plongée dans l’interprétation des valeurs p, et parler d’autres erreurs. Celles d’aujourd’hui découlent naturellement de tout ce que nous avons énoncé lors des deux articles précédents.

La valeur p n’est pas la “précision” d’un résultat :

Encore une fois c’est l’intervalle de confiance qu’il faut regarder pour savoir à quel point on est précis dans l’estimation de la taille de l’effet. Il est possible d’avoir une faible valeur p, et un intervalle de confiance très large, ce qui traduit un effet statistiquement significatif, mais dont la valeur précise est mal connue.

On ne compare pas des valeurs p entre elles :

Comme nous venons de le dire, les valeurs p ne renseignent pas sur la taille de l’effet, et elles ne doivent donc pas servir à comparer des résultats : si une étude portant sur l’effet des ultra-sons (US) dans la lombalgie n’arrive pas à atteindre p<0.05, et qu’une autre étude sur le laser est significative avec p<0.05, on ne peut pas conclure qu’une technique est supérieure à l’autre.
Même dans le cas ou les populations étudiées semblent similaires, avec le même nombre de sujets, avec les mêmes critères d’inclusion/exclusion, même si les critères d’évaluation sont les mêmes etc… Une comparaison de deux traitements ne peut passer que par une étude faite dans cet objectif.

L’exemple que je viens de prendre comparait des valeurs p obtenues dans deux études différentes, ce qui rend l’erreur particulièrement grossière et évidente. Le piège est plus subtil dans certaines études : si je souhaite comparer US et Laser, je peux monter une étude avec deux groupes recevant chacun un des traitements. Si les patients dans le groupe US ont une amélioration significative avec p<0.05 après traitement, et que le groupe Laser n’a pas d’amélioration significative (p>0.05), on est tenté de croire que les US ont montré leur supériorité sur le Laser et que ce résultat est significatif statistiquement.
Ceci est encore une fois faux. Les deux observations ne sont que des effets intra-groupe (avant/après traitement), et on n’a donc pas comparé les deux traitements, exactement comme dans le paragraphe précédent.

C’est la valeur p inter-groupes qui va vraiment nous renseigner sur la valeur relative des traitements. Il est même possible que le Laser soit en moyenne plus efficace, mais qu’il y ait eu plus de variabilité et/ou moins de cobayes dans ce groupe (CF article 2).

Les comparaisons multiples :

Nous avons vu qu’une valeur p est la probabilité d’observer un résultat au moins aussi extrême, dans l’hypothèse où il n’y aurait pas de différence réelle entre les groupes. Il y a donc, à chaque analyse statistique, un risque que le résultat soit un faux positif, et plus on va multiplier ces analyses, plus on a de risques qu’une (au moins) soit fausse(s).

C’est un problème qu’on observe parfois si on multiplie les groupes ou les mesures que l’on compare. Par exemple, si on réalise une grande étude cherchant à prouver qu’une méthode de rééducation de la lombalgie marche mieux que le traitement classique, et qu’on ne trouve pas de résultat probant, on peut être tenté de chercher des sous-groupes pour lesquels les résultats seraient significatifs, et on peut diviser selon plusieurs critères (comme le sexe, l’âge, l’activité, des critères prédictifs quelconques), jusqu’à trouver une catégorie pour laquelle le résultat sera celui qu’on espérait atteindre en faisant l’étude (les hommes de 20 à 30 ans qui sont droitiers, qui ne font pas de sport mais qui habitent au 2ème étage ou plus haut, sans ascenseur).

L’article du[ JOSPT ici]url:http://sportheart.ru/articles/the_clinical_efficacy_of_kinesio_tape.pdf n'a pas beaucoup de groupes, mais a énormément de mesures par groupe, ce qui pose le même problème : les auteurs ont fait ici pas moins de 14 mesures.
Ils étaient certainement conscients du problème et n'ont pas choisi p<0,05 mais 0,01 comme seuil de significativité. Malgré cela, [si on fait le calcul]url:http://www.wolframalpha.com/input/?i=1-0.99%5E14%20 , on a quand même 13% de chances qu'une des mesures donne un résultat significatif. D'ailleurs l'étude en question trouve une seule mesure significative, et elle ne l'est plus dès le lendemain... Avouez que ça semble louche.

Corrélation n’est pas causalité :

C’est un grand classique, et ça ne relève pas trop des valeurs p, mais je me sens obligé d’en parler quand même : quand une étude mesure la corrélation entre deux variables (la douleur et la vitesse de boutonnage, pour utiliser le même exemple que dans l’article précédent), et que la corrélation est significative (p<0.05 ou autre seuil choisi), rien ne prouve que c’est la douleur (liée à la polyarthrite rhumatoïde) qui réduit la vitesse de boutonnage. On voit souvent cette erreur quand la presse générale s’intéresse à la recherche.

Pour prendre un exemple classique, si je prouve qu’il y a corrélation significative entre la présence d’une personne sur un lieu et des incendies, la personne peut être pyromane (c’est sa présence qui déclenche les feux)... ou pompier (la causalité est inversée)…
Il faut toujours penser à cette causalité inversée quand on a une étude transversale (et pas longitudinale : on ne suit pas les patients dans le temps).

Il peut aussi ne pas y avoir de lien de causalité direct entre les deux :[ il y a corrélation entre consommation de viande rouge et décès par accident de la route]url:http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2803089/ … Ce n’est pourtant probablement pas la viande rouge qui provoque les accidents (quoique)... Il y a certainement un lien plus complexe entre ces deux-là.

Conclusion :

Pour citer Chad Cook, “tout le monde croit comprendre les valeurs p, et tout le monde les réclame” (la source en version originale), dont je vous conseille la lecture, j’espère que ceci contribuera à mieux les faire comprendre, et à relativiser leur importance…

Les pièges que j’ai relatés ici ne sont certainement pas les seuls, mais sont ceux que j’ai pu relever lors de discussions… Et ce n’est pas la seule limite de cet article : nous n’avons ici parlé que de valeurs p “honnêtes”, il est aussi possible d’obtenir des valeurs p faussées (volontairement ou non) en n’appliquant pas tout à fait le bon test (en particulier le problème des valeurs corrélées et des hypothèses non respectées).

Et il y a aussi tous les biais (sélection et mesure), plus les facteurs de confusion qui remettent en cause l’étude… La lecture critique d’article est un vaste sujet, que nous n’avons qu’effleuré avec ce chapitre sur le petit p (qui reçoit justement le feu des projecteurs en ce moment).

PS : Rendons à César ce qui appartient à César, ces articles sont largement inspirés du [cours en ligne de Stanford University : HRP258 Statistics in Medicine.]url:https://class.stanford.edu/courses/Medicine/HRP258/Statistics_in_Medicine/about
Un grand merci aussi à Damien, Michel, Thierry et Jean-Louis (chronologiquement).

Notez
Cette information a été ouverte par un clic sur son titre 738 fois


1.Posté par Anonyme le 20/12/2013 11:48 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Un petit xkcd pour illustrer les comparaisons multiples ;-) http://xkcd.com/882/

2.Posté par Mathieu Vergnault le 20/12/2013 19:43 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Anonyme a encore frappé !!
Plus d'infos ici, ou encore
Bonne lecture et encore bravo pour ces articles !

3.Posté par Corentin le 22/12/2013 08:19 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Merci pour vos commentaires ! On s'était échangé plusieurs liens sur xkcd et les statistiques pendant le cours de Stanford, et celui qu'Anonyme envoie est vraiment le meilleur je trouve. D'ailleurs la prof l'avait aimé, et trouvait (si ma mémoire est bonne) que c'était très proche de la réalité. J'adore le journal hyper alarmiste, (et qui titre sur la significativité statistique plutôt que clinique) alors qu'il y a quand même 20 comparaisons...
Merci aussi pour tes liens Mathieu, je vais profiter des vacances pour lire ça !

Nouveau commentaire :

Merci d'apporter des commentaires constructifs et adaptés et de ne pas porter de propos diffamatoires ou portant atteinte à l'honneur à la profession

Exercice professionnel | Musculo-squelettique | Cardio-respiratoire | Neurologie & Neurosciences | Douleur | Posture et Equilibre | Evidence Based Practice | Domaines Spécifiques | A propos | Vidéos | Technologie de base