Kappa de Cohen
# Kappa de Cohen

En statistique, la méthode du κ (kappa) mesure l’accord entre observateurs lors d'un codage qualitatif en catégories. L'article introduisant le κ a pour auteur Jacob Cohen – d'où sa désignation de κ de Cohen – et est paru dans le journal Educational and Psychological Measurement en 1960. Le κ est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le κ de Fleiss (1981).

## Définition

Le calcul du κ se fait de la manière suivante :

    $\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}},\!$

où Pr(a) est la proportion de l'accord entre codeurs et Pr(e) la probabilité d'un accord aléatoire. Si les codeurs sont totalement en accord, κ = 1. S'ils sont totalement en désaccord (ou en accord dû uniquement au hasard), κ ≤ 0.

## Exemple

La méthode de Kappa mesure le degré de concordance entre deux évaluateurs, par rapport au hasard.

### Premier cas

Supposons que deux évaluateurs (Marc et Mathieu) soient chargés de définir dans un groupe de 50 étudiants ceux qui seront reçus ou non à l'examen final. Chacun d'eux contrôle la copie de chaque étudiant et la note comme reçu ou non reçu (OUI ou NON). Le tableau ci-dessous donne les résultats :

| | | Marc | Marc |
| - | - | - | - |
| | | OUI | NON |
| Mathieu | OUI | a | b |
| Mathieu | NON | c | d |
| | | Marc | Marc |
| | | OUI | NON |
| Mathieu | OUI | 20 | 5 |
| Mathieu | NON | 10 | 15 |

L'observation des accords entre évaluateurs est :

$P_{accord}=(a+d)/(a+b+c+d)=(20+15)/50=0.7{\textstyle$ P_{accord}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7}

Pour calculer la probabilité d'accord « au hasard », on note que :

* Mathieu a noté « OUI » à 25 étudiants, soit 50 % des cas.
* Marc a noté « OUI » dans 60 %, soit 30 étudiants sur 50.

Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est : $P_{OUI}={\frac {a+b}{a+b+c+d}}\times {\frac {a+c}{a+b+c+d}}=0,5\times 0,6=0,3$

De même la probabilité que les deux correcteurs notent « NON » est : $P_{NON}={\frac {c+d}{a+b+c+d}}\times {\frac {b+d}{a+b+c+d}}=0,5\times 0,4=0,2$

La probabilité globale que les correcteurs soient en accord est donc : $P_{Hasard}=P_{OUI}+P_{NON}=0,3+0,2=0,5$

La formule de Kappa donnera alors : $\kappa ={\frac {P_{accord}-P_{Hasard}}{1-P_{Hasard}}}={\frac {0.7-0.5}{1-0.5}}=0.4$

### Second cas

Dans une autre proportion nous aurions obtenu :

| | | Marc | Marc |
| - | - | - | - |
| | | OUI | NON |
| Mathieu | OUI | 25 | 2 |
| Mathieu | NON | 3 | 20 |

L'observation des accords entre évaluateurs est :

$P_{accord}=(a+d)/(a+b+c+d)=(25+20)/50=0,$ 9{\textstyle P_{accord}={\frac {a+d}{a+b+c+d}}={\frac {25+20}{50}}=0, 9}

Pour calculer la probabilité d'accord « au hasard », on note que :

* Mathieu a noté « OUI » à 27 étudiants, soit 54 % des cas,
* et que Marc a noté « OUI » dans 56 %.

Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est : $P_{OUI}={\frac {a+b}{a+b+c+d}}\times {\frac {a+c}{a+b+c+d}}=0,54\times 0,56=0,3024$

De même la probabilité que les deux correcteurs notent « NON » est : $P_{NON}={\frac {c+d}{a+b+c+d}}\times {\frac {b+d}{a+b+c+d}}=0,46\times 0,44=0,2024$

La probabilité globale que les correcteurs soient en accord est donc : $P_{Hasard}=P_{OUI}+P_{NON}=0,3024+0,2024=0,5048$

La formule de Kappa donnera alors : $\kappa ={\frac {P_{accord}-P_{Hasard}}{1-P_{Hasard}}}={\frac {0,9-0,5048}{1-0,5048}}=0,7981$

## Ordres de grandeur

Landis et Koch ont proposé le tableau suivant pour interpréter le κ de Cohen. Il s'agit d'ordres de grandeurs qui ne font pas consensus dans la communauté scientifique, notamment parce que le nombre de catégories influe sur l'estimation obtenue : moins il y a de catégories, plus κ est élevé.

| $\kappa$ | Interprétation |
| - | - |
| < 0 | Désaccord |
| 0,00 — 0,20 | Accord très faible |
| 0,21 — 0,40 | Accord faible |
| 0,41 — 0,60 | Accord modéré |
| 0,61 — 0,80 | Accord fort |
| 0,81 — 1,00 | Accord presque parfait |
