Biais de notation

À la fin du semestre dernier, j’ai cherché à savoir si mes notes d’exposé oral dans mes cours en anglais exprimaient des biais, notamment parce que je me soupçonnais de systématiquement sous-évaluer les performances des étudiant(e)s asiatiques, et réciproquement, de systématiquement surévaluer les performances des étudiant(e)s anglophones natifs.

J’ai utilisé des données de deux groupes de deuxième année ayant suivi le même cours, sans variation majeure d’une année sur l’autre. Je ne peux pas publier les données parce que la taille de l’échantillon n’est pas suffisante pour rendre complètement anonymes les participants à l’étude (qui n’ont pas donné leur accord éclairé de surcroît), mais je peux publier quelques résultats.

L’histogramme suivant donne la distribution de ma notation sur deux ans :

La variable dépendante est la note reçue à l’exposé oral : N = 43, moyenne = 14.7, SD = 2.2, min = 9, Q1 = 14, médiane = 15, Q3 = 16, max = 19. Avec une médiane et une moyenne approchant 15 et une note modale à 16, on peut légitimement estimer que je note généreusement.

L’analyse des biais potentiels (sexe, origine géographique et ordre de passage) ne trouve aucun biais significatif à p < 0.05, ni même à p < 0.1 :

• La comparaison des moyennes obtenues par les filles et les garçons renvoie une différence de 0.3 points qui n’est pas significative (p > 0.6 au t-test).
• Le test exact de Fisher montre que la note d’exposé est indépendante de l’origine géographique (p > 0.2), même en recodant en quatre catégories (p > 0.1).
• Une régression linéaire simple – sur l’année 2010 uniquement, N = 22 – indique que l’ordre du passage au cours du semestre n’a pas d’incidence sur la note (p > 0.6).
• Une régression multiple du sexe et de l’origine géographique sur la note d’exposé oral indique une “prime” possible d’environ 2.5 points pour les étudiants français ou anglophones par rapport aux étudiants asiatiques, mais le modèle n’est pas significatif (p > 0.2) et faiblement prédictif (R2 < 0.2). Le modèle inclut une dummy pour contrôler l’année de suivi du cours.

Le graphe suivant montre les notes pour les origines géographiques avec cinq observations ou plus (5 Asiatiques, 17 Anglo-Saxons, 15 Français) :

En définitive, je pense que l’analyse révèle que ma notation souffre d’un autre biais, outre sa tendance haussière (que je contre-balance parfois par des notes d’écrit plus basses de deux à trois points en moyenne) : elle est plus homogène pour les étudiants français, tous issus de la même école, que pour les étudiants étrangers.

Hormis ce dernier biais, que je suis prêt à assumer, je n’ai pas trouvé d’autre biais sur cet échantillon.

---

---