Biais de notation

À la fin du semestre dernier, j’ai cherché à savoir si mes notes d’exposé oral dans mes cours en anglais exprimaient des biais, notamment parce que je me soupçonnais de systématiquement sous-évaluer les performances des étudiant(e)s asiatiques, et réciproquement, de systématiquement surévaluer les performances des étudiant(e)s anglophones natifs.

J’ai utilisé des données de deux groupes de deuxième année ayant suivi le même cours, sans variation majeure d’une année sur l’autre. Je ne peux pas publier les données parce que la taille de l’échantillon n’est pas suffisante pour rendre complètement anonymes les participants à l’étude (qui n’ont pas donné leur accord éclairé de surcroît), mais je peux publier quelques résultats.

L’histogramme suivant donne la distribution de ma notation sur deux ans :

Notes d'exposés oraux (2009-2010)

La variable dépendante est la note reçue à l’exposé oral : N = 43, moyenne = 14.7, SD = 2.2, min = 9, Q1 = 14, médiane = 15, Q3 = 16, max = 19. Avec une médiane et une moyenne approchant 15 et une note modale à 16, on peut légitimement estimer que je note généreusement.

L’analyse des biais potentiels (sexe, origine géographique et ordre de passage) ne trouve aucun biais significatif à p < 0.05, ni même à p < 0.1 :

  • La comparaison des moyennes obtenues par les filles et les garçons renvoie une différence de 0.3 points qui n’est pas significative (p > 0.6 au t-test).
  • Le test exact de Fisher montre que la note d’exposé est indépendante de l’origine géographique (p > 0.2), même en recodant en quatre catégories (p > 0.1).
  • Une régression linéaire simple – sur l’année 2010 uniquement, N = 22 – indique que l’ordre du passage au cours du semestre n’a pas d’incidence sur la note (p > 0.6).
  • Une régression multiple du sexe et de l’origine géographique sur la note d’exposé oral indique une “prime” possible d’environ 2.5 points pour les étudiants français ou anglophones par rapport aux étudiants asiatiques, mais le modèle n’est pas significatif (p > 0.2) et faiblement prédictif (R2 < 0.2). Le modèle inclut une dummy pour contrôler l’année de suivi du cours.

Le graphe suivant montre les notes pour les origines géographiques avec cinq observations ou plus (5 Asiatiques, 17 Anglo-Saxons, 15 Français) :

Notes d'exposés oraux par origine géographique (2009-2010)

En définitive, je pense que l’analyse révèle que ma notation souffre d’un autre biais, outre sa tendance haussière (que je contre-balance parfois par des notes d’écrit plus basses de deux à trois points en moyenne) : elle est plus homogène pour les étudiants français, tous issus de la même école, que pour les étudiants étrangers.

Hormis ce dernier biais, que je suis prêt à assumer, je n’ai pas trouvé d’autre biais sur cet échantillon.


4 réflexions au sujet de « Biais de notation »

  1. Merci pour ce travail, cela me donne des idées pour mes enseignements ;-).
    Est il possible d’avoir quelques détails sur les méthodes statistiques utilisées (des références peut-être?)
    merci

    • Les méthodes, c’est-à-dire ? L’analyse ci-dessus est tirée d’une régression multiple avec coefficients non standardisés ; le cours lui-même utilise des méthodes qualitatives (c’est un cours de politiques de santé).

      Je peux mettre les données en ligne dans quelques jours si cela peut vous servir !

  2. Vous êtes fort généreux dans la notation…. On dirait que le niveau de réelle satisfaction professorale est à 15/20 (comme il l’est largement à l’IEP de Grenoble à 13/20)…

Les commentaires sont fermés.