Questions et remarques concernant certaines méthodes statistiques utilisées dans le domaine de la recherche en psychothérapie

Résumé

Ce n’est pas le contenu des résultats qui définit la valeur et la fiabilité des chiffres obtenus par le biais de méthodes statistiques, mais le respect de principes méthodiques fondamentaux. Partant du point de vue d’un statisticien axé sur la méthode, nous examinons les procédures statistiques classiques employées au niveau de la recherche par la psychothérapie: les principes permettant d’évaluer un type de thérapie, la vérification de la validité et de la fiabilité des données, les procédures “dures” d’inférence (les tests statistiques surtout) et (en particulier) les problèmes statistiques que présente l’évaluation empirique de la durée de la thérapie. Nous nous concentrons sur des indications ayant trait aux questions et rapports suivants:

1) l’échelonnement de la “taille de l’effet (effect size)” (la répartition d’un item) est en général très libre et peut en partie être fixée arbitrairement. Dans quelle mesure les modifications (par la thérapie) subies par “l’importance de l’effet” sont-elles dépendantes de l’échelle choisie

2) la validité de cette même variable est mesurée en règle générale par le calcul d’une corrélation, à savoir celle entre la taille de l’effet et un critère (quantité visée) permettant d’évaluer de manière absolue les effets d’une thérapie (validité du critère). Si un critère “idéal” de ce type existe, sa substitution par une variable “importance de l’effet” dans les études d’évaluation ne se justifie que si les données peuvent être collectées beaucoup plus aisément que si l’on employait un véritable critère. Souvent, ces études se contentent d’employer en tant que critère une autre variable, plus ou moins bien testée, sans en indiquer la validité; en effet la validité d’une nouvelle variable “taille de l’effet ” n’est que valeur relative.

3) on mesure la fiabilité des résultats en enregistrant I plusieurs fois (en règle générale deux fois) la variable ? “taille de l’effet” (effect size) de l’instrument d’évaluation (re-test, test parallèle, division du test en deux) et on l’indique en tant que proportion de co-variance par rapport à la variance ou plus simplement, par l’alpha de Cronbach. Cette manière de procéder requiert certaines conditions (hypothèse d’une homogénéité de l’échantillon et d’un manque de corrélation entre les erreurs de mesure), dont la plupart des études d’évaluation négligent de vérifier la présence. Lorsque celles-ci sont absentes, l’alpha de Cronbach ne constitue plus forcément une mesure comparative de fiabilité; il peut arriver que deux valeurs alpha différentes ne soient plus comparables.

4) du fait que la plupart des recherches en psychothérapie utilisent des variables “taille de l’effet” (et des critères) qualitatifs, il n’est pas possible d’utiliser l’habituel coefficient de corrélation selon Bravais-Pearson lorsque validité et fiabilité sont mesurées comme décrit plus haut. Il faut plutôt utiliser le coefficient de corrélation selon le rang de Spearman lorsque les variables sont échelonnées de manière ordinale et un coefficient de contingence lorsque les variables ne sont échelonnées que de manière nominale. Ces coefficients peuvent être influencés par une modification de la graduation choisie pour les cotes ordinal et nominal. Les mesures de validité et de fiabilité dépendent donc de l’exactitude de l’échelonnement de la variable “ taille de l’effet” (effect size) J étudiée (du nombre de réponses prévues pour un item i donné).

5) les procédures “dures” d’inférence normalement utilisées, et surtout les tests statistiques, sont basées sur un échantillonnage aléatoire et des hypothèses liées à l’indépendance des variables; dans de nombreux cas elles ne peuvent se pratiquer qu’avec des variables échelonnées de manière cardinale ou même présentant une répartition normale - en règle générale, concernant la recherche empirique en psychothérapie ces conditions ne sont pas remplies. Il n’est donc pas possible d’utiliser ces procédures. Il est en particulier absurde (bien qu’en accord avec les conventions) de procéder à un test statistique et d’indiquer des valeurs p si l’on ne dispose pas d’un échantillonnage aléatoire.

6) pour la plupart des études effectuées dans la domaine de la psychothérapie il est recommandé d’utiliser des procédures statistiques “molles ” : par ceci nous entendons les méthodes de l’analyse descriptive ou exploratrice des données. Elles permettent de confirmer des hypothèses, mais non de les démontrer statistiquement (preuve par le seuil de signification).

7) l’utilisation de tests multiples (plusieurs tests étant effectués sur un même échantillon) doit s’accompagner d’un ajustement de l’alpha permettant de réduire nettement les alpha des différents tests (ajustement de Bonferroni).

8) des problèmes (parfois statistiques) particuliers se manifestent par rapport à l’évaluation empirique des effets de la durée de la thérapie si l’on n’effectue pas une très nette distinction entre les deux questions suivantes: comment les changements provoqués par la thérapie chez un seul patient dépendent-ils en moyenne de la durée de la thérapie? Comment le nombre moyen de patients pour lesquels la thérapie a apporté une amélioration dépend-il de la durée de la thérapie? Chacune de ces deux questions requiert ses propres conditions d’étude. Des exemples sont présentés, qui permettent de débattre des problèmes qui se présentent.