Statistiques - Coefficient kappa de Cohen

Le coefficient kappa de Cohen est une statistique qui mesure l'accord inter-évaluateur pour les éléments qualitatifs (catégoriels). Il est généralement considéré comme une mesure plus robuste que le simple calcul de l'accord en pourcentage, car k prend en compte l'accord intervenu par hasard. Le kappa de Cohen mesure l'accord entre deux évaluateurs qui classent chacun N éléments en C catégories mutuellement exclusives.

Le coefficient kappa de Cohen est défini et donné par la fonction suivante:

Formule

$ {k = \ frac {p_0 - p_e} {1-p_e} = 1 - \ frac {1-p_o} {1-p_e}} $

Où -

  • $ {p_0} $ = accord relatif observé entre les évaluateurs.

  • $ {p_e} $ = l'accord de probabilité hypothétique de chance.

$ {p_0} $ et $ {p_e} $ sont calculés en utilisant les données observées pour calculer les probabilités de chaque observateur disant aléatoirement chaque catégorie. Si les évaluateurs sont d'accord, alors $ {k} $ = 1. S'il n'y a pas d'accord entre les évaluateurs autre que ce qui serait attendu par hasard (comme indiqué par $ {p_e} $), $ {k} $ ≤ 0 .

Exemple

Énoncé du problème:

Supposons que vous analysiez des données relatives à un groupe de 50 personnes demandant une subvention. Chaque proposition de subvention a été lue par deux lecteurs et chaque lecteur a répondu «oui» ou «non» à la proposition. Supposons que les données du nombre de désaccords soient les suivantes, où A et B sont des lecteurs, les données sur la gauche oblique diagonale montrent le nombre d'accords et les données sur la droite oblique droite, les désaccords:

B
Oui Non
UNE Oui 20 5
Non dix 15

Calculez le coefficient kappa de Cohen.

Solution:

Notez que 20 propositions ont été acceptées par le lecteur A et le lecteur B et 15 propositions ont été rejetées par les deux lecteurs. Ainsi, l'accord proportionnel observé est

$ {p_0 = \ frac {20 + 15} {50} = 0,70} $

Pour calculer $ {p_e} $ (la probabilité d'accord aléatoire), nous notons que:

  • Le lecteur A a dit «oui» à 25 candidats et «non» à 25 candidats. Ainsi, le lecteur A a dit "oui" 50% du temps.

  • Le lecteur B a répondu «oui» à 30 candidats et «non» à 20 candidats. Ainsi, le lecteur B a dit "oui" 60% du temps.

En utilisant la formule P (A et B) = P (A) x P (B) où P est la probabilité qu'un événement se produise.

La probabilité que les deux disent «oui» au hasard est de 0,50 x 0,60 = 0,30 et la probabilité que les deux disent «non» est de 0,50 x 0,40 = 0,20. Ainsi, la probabilité globale d'accord aléatoire est $ {p_e} $ = 0,3 + 0,2 = 0,5.

Alors maintenant, en appliquant notre formule pour le Kappa de Cohen, nous obtenons:

$ {k = \ frac {p_0 - p_e} {1-p_e} = \ frac {0,70 - 0,50} {1-0,50} = 0,40} $