{"word_count": 761, "character_count": 4739}
Cet article illustre la différence entre scorer et mesurer, développée de manière générale dans Scorage vs. mesurage, à partir de l'exemple de données proposé par Bruno Falissard (2008) pour présenter le kappa de Cohen. On suppose que deux juges évaluent séparément, en termes de réussite ou d'échec, la manière dont 19 personnes réagissent à un test, dans le but de mesurer la compétence de ces personnes sur l'échelle de scores (0, 1, 2) -- 0 si les deux juges "mettent" 0, 1 si un seul juge "met"1, 2 si les deux juges "mettent" 1. La table de contingence est reproduite ci-dessous.L'argument consiste en deux points. (1) Les scores, qui sont obtenus en sommant les valeurs numériques qui codent les évaluations des juges (0 pour échec, 1 pour réussite), puisent leur signification non pas dans une opération additive mais dans la convention évaluative suivante : deux jugements de réussite valent mieux qu'un seul qui vaut mieux que zéro -- on additionne des unités de valeur, c'est-à-dire des institutions sociales. (2) Comme tous les 2-uplets possibles sont observés, les observations effectuées ne sont pas simplement ordonnées. Par conséquent, les données ne peuvent pas être utilisées comme mesures ordinales de la compétence des personnes -- la compétence étant considérée comme grandeur théorique qui déterminerait les jugements. En conclusion, les scores ne sont pas des mesures mais des jugements de valeur.1. L'application de scorage A ○ XL'ensemble de départ de X (la description) est l'ensemble des 19 unités d'observation. Son ensemble d'arrivée est l'ensemble des quatre 2-uplets possibles, à savoir D = {00, 01, 10, 11}. Un 2-uplet indique le jugement du premier juge puis le jugement du second juge. En inspectant la table de contingence, on voit que 00 a neuf antécédents (ou bien, neuf unités d'observation ont pour image 00), 01 a un antécédent, 10 a deux antécédents, et 11 a sept antécédents.L'application d'agrégation A attribue à tout 2-uplet la somme des nombres dont ils sont composés. Ainsi, le score de 1 point agrège 01 et 10. Remarquons que cette somme n'a pas de signification empirique, puisque "échec + réussite = réussite" n'a pas plus de sens que "réussite + échec = réussite". On confond ici deux opérations logiquement distinctes, à savoir l'addition (+) et la conjonction (et) : "et" n'est pas "+" et réciproquement. La hiérarchisation des valeurs qui est ainsi opérée est conventionnelle. Ainsi, la composition de la description et du scorage, A ○ X, attribue un niveau de valeur à toute unité d'observation dans une échelle à trois niveaux.2. Pourquoi les descriptions ne sont pas des mesuresUn raisonnement par l'absurde permet de montrer que ces descriptions ne sont pas des mesures ordinales de quantités de compétence que possèderaient les 19 unités d'observation. Le principe du raisonnement par l'absurde consiste à tirer les conséquences de l'hypothèse qu'on veut falsifier, en montrant que ces conséquences sont fausses. Si A implique B et si non-B est vrai, alors non-A est vrai (et A faux).Supposons, comme on l'a fait précédemment, que les deux juges mesurent la quantité de compétence Q(ω) de toute unité d'observation ω en observant comment elle réagit au test. Alors les jugements d'échec ou de réussite dépendent d'une fonction de mesurage qui les caractérise l'un et l'autre. Appelons ces fonctions F1 et F2 ; ce sont des fonctions par palier croissantes (voir Mesurer avec les réponses à un item, en remplaçant "item" par "juge").Considérons deux unités d'observation ω1 et ω2 telles que X(ω1) = 01 et X(ω2) = 10 (les deux 2-uplets sont incomparables). Il existe trois possibilités quantitatives :Q(ω1) = Q(ω2), auquel cas F1[Q(ω1)] = F1[Q(ω2)] et F2[Q(ω1)] = F2[Q(ω2)], ce qui se note aussi F[Q(ω1)] = F[Q(ω2)] avec F = F1F2. Dans ce cas, X n'est pas F ○ Q puisque X(ω1) ≠ X(ω2).Q(ω1) &#62; Q(ω2), auquel cas F1[Q(ω1)] ≥ F1[Q(ω2)] et F2[Q(ω1)] ≥ F2[Q(ω2)]. Dans ce cas, X n'est pas F ○ Q puisque F1 ○ Q n'est pas X1 car X1(ω1) &#60; X1(ω2).Q(ω1) &#60; Q(ω2), auquel cas F1[Q(ω1)] ≤ F1[Q(ω2)] et F2[Q(ω1)] ≤ F2[Q(ω2)]. Dans ce cas, X n'est pas F ○ Q puisque F2 ○ Q n'est pas X2 car X2(ω1) &#62; X2(ω2).En conclusion, les observations contredisent l'hypothèse d'un processus de mesurage (ou de l'existence d'une fonction de mesurage). En d'autres termes, les descriptions incomparables 01 et 10 ne peuvent pas être expliquées par un mesurage.3. Remarque sur les désaccords inter-jugesDans la perspective du mesurage, les désaccords inter-juges sont possibles mais restreints : leurs descriptions ne doivent pas permettre l'observation d'états incomparables.RéférenceFalissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.