{"word_count": 1217, "character_count": 7569}
Cet article montre que le modèle hiérarchique de Guttman, qui stipule que les descriptions auxquelles on s'intéresse sont simplement ordonnées (1), est un modèle de mesure ordinale (2) et discute l'attitude à adopter face à des observations falsifiantes (3). Ce modèle s'applique à la situation suivante : plusieurs personnes passent le même test constitué de plusieurs items et on espère pouvoir utiliser les descriptions résultantes comme des mesures permettant de comparer les élèves les uns par rapport aux autres.1. Les descriptions sont simplement ordonnéesDickes, Tournois, Flieller et Kop (1994, p. 140) présentent l'exemple de cinq élèves qui passent un test de quatre items, les réponses à chaque item étant cotées 0 (pour échec) ou 1 (pour réussite). L'application descriptive X: Ω → D est définie de Ω, l'ensemble de toutes les unités d'observation possibles, dans D = {0, 1}4 = {0000, 0001, ..., 1111}. D contient 24 = 16 4-uplets. De manière plus détaillée, X = X1X2X3X4, avec Xi: Ω → {0, 1}, i indexant les items du test.L'image de Ω5 = {ω1, ω3, ω3, ω4, ω5} par X, X(Ω5), est {0000, 0100, 0110, 1110, 1111}. Cet ensemble est simplement ordonné par la relation d'ordre produit direct :0000 ≤ 0100 ≤ 0110 ≤ 1110 ≤ 1111.2. Fonction de mesurageInterpréter les descriptions comme mesures ordinales d'une grandeur revient à supposer qu'il existe une fonction de mesurage F: Ω5 → X(Ω5), c'est-à-dire qu'il existe quatre fonctions par palier croissantes Fi: Ω5 → {0, 1}, i = 1, 2, 3, 4, dont on connaît l'ordre des seuils Ai dans [0, max].Pour déterminer cet ordre, il suffit de définir la bijection (relation univoque) de X(Ω5) dans l'ensemble ordonné (0, 1, 2, 3, 4) telle que0000 → 00100 → 10110 → 21110 → 31111 → 4.Si la quantité à mesurer est inférieure à tous les seuils, sa mesure ordinale vaut 0. Quel est le seuil à franchir pour que la mesure vaille 1 ? La description 0100 indique que ce seuil est A2. En effet, la fonction F2 détermine ce qu'on observe avec le second item du test et doit prendre la valeur 1 pour qu'on puisse déduire que son seuil a été franchi. Le prochain seuil à franchir pour que la mesure vaille 2 est A3 (0110). Le prochain seuil à franchir pour que la mesure vaille 3 est A1 (1110) et le dernier seuil est donc A4. Ainsi, on peut supposer qu'il existe quatre fonctions par palier croissante à seuils Ai dans [0, max] telles que A2 ≤ A3 ≤ A1 ≤ A4.Remarque sur la notion de difficulté d'un item. On dit que le deuxième item du test est plus facile que le troisième qui est plus facile que le premier qui à son tour est plus facile que le dernier. Ainsi, le niveau de difficulté d'un item est le rang du seuil de sa fonction de mesurage. On pourra confronter cette définition à d'autres définitions galtoniennes, qui, parce qu'elles n'ont pas de caractère général, ne sont pas équivalentes, ce qui peut créer un problème d'ambiguïté voire une confusion conceptuelle dans les discussions psychotechniques (voir 19a).3. Que faire face à des observations falsifiantes ?Le raisonnement qui précède s'appuie sur la propriété d'ordre simple de X(Ω5). Une conséquence de cette propriété est que la taille (on dit aussi le cardinal) de X(Ω5), qui est 5, est strictement inférieure à celle de D, qui est 16 -- à cause de l'impossibilité que deux éléments distincts d'un ensemble simplement ordonné soient incomparables. Soit une nouvelle unité d'observation ω6. On peut supposer que sa description résulte du mesurage de sa quantité de compétence par F et cette supposition est testable. Si X(ω6) n'appartient par à X(Ω5) qui inventorie toutes les descriptions ordonnées possibles, alors ce n'est pas une mesure de la quantité Q(ω6) par F.L'hypothèse qu'une description psychotechnique soit une mesure paraît théoriquement invraisemblable dès qu'on admet que la réponse à des items de questionnaire dépende d'une myriade de facteurs inconnus (voir Mesurer avec des réponses à des tests : définition). Par quel miracle une personne quelconque, testée avec les quatre items du test, devrait répondre conformément à la fonction F dont on suppose l'existence sur Ω5 ?L'attitude logique face à une observation falsifiante, i.e., qui n'appartient pas à X(Ω5), consiste à conclure qu'on ne sait pas interpréter cette observation comme une mesure ordinale d'une quantité théorique de compétence. Ce n'est pas l'attitude qui prévaut dans la doctrine de la validation scientifique des tests. L'orthodoxie consiste à adopter une stratégie dérogatoire (comme c'est aussi le cas avec les problèmes de désaccords inter-juges).Dickes et al. (1994) expriment cette attitude de la manière suivante :"Mais il aurait suffit de considérer un sixième élève qui aurait répondu, par exemple, [0010], pour que les données ne soient plus représentables par ce modèle, à moins de ne pas opter pour des règles aussi strictes. Jusqu'à un certain degré de dérogation, on peut encore considérer que les données s'accordent avec le modèle. Mais cela suppose qu'on se donne quelque règle supplémentaire, par exemple, qu'il n'y ait pas plus de 5 % de dérogations, pour accepter la représentation obtenue" (p. 141) -- Laveault et Grégoire (2002, p. 184) mentionnent qu'en 1950, Guttman a proposé le seuil d'acceptabilité de 10 %.Cette attitude n'est pas scientifique au sens normatif du terme, bien qu'elle soit adoptée par des personnes qui puissent se qualifier de "scientifiques" au sens de "praticiens d'une démarche scientifique". L'attitude scientifique consiste à témoigner de l'existence d'observations falsifiantes. Proposer de considérer que ces observations soient négligeables est autre chose, cela relève d'une pratique sociale au sens de la psychologie sociale des organisations ou des institutions. Il se peut que pour des raisons non scientifiques, on ait besoin de faire comme si on savait mesurer la compétence des élèves avec ce test. Si on veut faire croire qu'on sait mesurer la compétence de ce sixième élève, on utilisera son score, 0 + 0 + 1 + 0 = 1, pour "considérer" qu'il mesure sa compétence (de manière ordinale).Mais ce n'est pas fini. On oubliera que le score n'est qu'une mesure ordinale. Que le score soit une mesure ordinale implique qu'on ne sait pas, même si le modèle n'est pas falsifié, si deux élèves qui ont le même score ont des compétences différentes ou égales. On considèrera que leur compétences sont approximativement égales. On peut comprendre la raison d'une telle distorsion des connaissances scientifiques disponibles si on admet que l'impératif social de comparaison des élèves, c'est-à-dire d'évaluation, prime sur l'impératif d'intégrité scientifique, c'est-à-dire que les scientifiques de la réponse à des items de tests sont professionnellement conduits à affirmer l'ignorance de la signification objective, au sens réaliste du terme, des réponses aux items du test (cf. 1a et 22a), parce qu'on ne dispose pas d'une théorie testable de ces réponses qui ne soit pas falsifiée.Les scores sont des jugements de valeur fondés sur des descriptions psychotechniques objectives (au sens qu'elles ne posent pas de problème d'accord inter-juges), et on essaie de légitimer ces jugements de valeur en expliquant qu'ils sont compatibles avec des hypothèses scientifiques fausses, mais qu'on "considère" comme acceptables par dérogation.RéférencesDickes, P., Tournois, J., Flieller, A., &#38; Kop, J.-L. (1994). La psychométrie. Paris: Presses Universitaires de France.Laveault, D. &#38; Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l'éducation (2e éd.). Paris : De Boeck Université.