Best of 2010

L’année est bien entamée, et j’aime bien l’idée du best-of académique. En science politique, je sélectionnerais quatre textes, et j’attends vos suggestions :

  • Black Ravens, White Shoes, and Case Selection: Inference with Categorical Variables”, un texte inédit du statisticien David Freedman dans un recueil édité par David Collier (un collègue de Berkeley, bien connu en science politique) et al.. En quelques pages, tout y passe, le paradoxe des corbeaux chez Hempel, la sélection des cas d’étude, quelques références en passant à Taleb (que j’ai découvert grâce à Mark Blyth), l’inférence statistique à “faible n”, etc. Freedman est (était) un des plus grands statisticiens du 20e siècle, et l’un des plus ouverts à l’épistémologie qualitative. Un modèle.
  • Democracy and the Limits of Self-Rule : le dernier ouvrage d’Adam Przeworski. Enough said. La préface – autobiographique, comme son chapitre dans l’ouvrage de Munck et Snyder déjà mentionné – est absolument magistrale. Foncez dessus par tous les moyens possibles ! Des extraits sont disponibles. Je n’ai pas fini de dire tout le bien que je pense des recherches d’Adam Przeworski, que j’avais déjà mentionné en passant. Je n’ai hélas pas le temps de lire autant que je voudrais, mais si l’on me propose un cours libre l’an prochain, ce sera un cours sur la démocratie et (presque) rien d’autre.
  • Transnational Diffusion: Norms, Ideas, and Policies”, une synthèse magistrale de Fabrizio Gilardi sur un phénomène essentiel en science politique. Le texte est à présent daté de 2011 mais j’ai lu la version précédente de 2010. Le texte est une version de travail pour publication dans un handbook de relations internationales, mais l’on y apprend beaucoup de choses utiles au niveau méthodologique qui sont utiles en dehors de cette spécialisation. À suivre, surtout en rapport au contexte politique actuel en Afrique du Nord et au Moyen-Orient.
  • Rational Choice : je pense que j’ai enfin commencé à comprendre quelque chose à la théorie des jeux grâce à cet excellent ouvrage introductif d’Itzhak Gilboa. L’ouvrage ne m’empêchera toutefois pas de penser que l’immense majorité des articles dans les revues comme Games and Economic Behaviour (où l’on trouve ce genre de démonstration) représentent, au mieux, une perte de temps. Quitte à balayer le champ des rational choicers, je n’en dirais pas autant des recherches appliquées de Dennis C. Mueller en public choice (son manuel vient d’ailleurs d’être traduit en françaisshameless colleague plug!).

J’ai fait un peu exprès de prendre des textes hors de mes “intérêts de recherche” immédiats, parce que je pense apprendre autant en lisant de manière complètement sérendipiteuse qu’en lisant de manière focalisée. Dernier exemple en date, j’ai récemment appris beaucoup de choses en (re)lisant des extraits du chef d’oeuvre de Mary Douglas, How Institutions Think (clin d’oeil à David, à qui j’ai offert la traduction française) : Schelling, Williamson, tout y est. Quant aux clivages disciplinaires, qui m’évoquent de plus en plus la fractionalisation ethno-linguistique et religieuse, je refuse d’en tenir compte à ce stade.

Où vont, sinon, les sciences sociales à l’horizon 2020 ? La National Science Foundation a posé la question en 2010, et les réponses sont en ligne. Les thèmes de recherche d’une quinzaine des contributeurs m’étaient déjà connus, et la lecture de leurs papiers ouvre des perspectives de recherche passionnantes.

Mortalité en guerre

Cet article du New York Times sur la mortalité des soldats américains engagés en Afghanistan est très intéressant pour au moins deux raisons :

  • Pour ceux qui s’intéressent au sujet controversé du décompte des décès (fatalities) en temps de guerre, les données qui apparaissent dans l’article permettent de compléter le tableau statistique du conflit.Une distinction importante existe entre la mortalité en volume et le taux de mortalité chez les blessés, qui est en baisse.
  • Pour ceux qui s’intéressent aussi à l’histoire de la médecine, et qui savent que les périodes de conflit sont aussi des périodes marquées par le progrès médical, l’article émet plusieurs observations sur ce point : de meilleures techniques, comme l’utilisation des tourniquets et l’amélioration des pratiques de soins dans le personnel médical embarqué, sont désormais disponibles sur le champ de bataille (et la distance jusqu’aux services de soins s’est réduite par une augmentation des hélicoptères médicaux).

Enfin, pour ceux qui veulent avoir les données sous les doigts, en quelques recherches rapides, on peut rapidement trouver des données et des études pour effectuer quelques opérations statistiques sur la mortalité en Irak, sachant que Falloudja/Falluja reste un outlier extrême sur ce point, avec une mortalité exceptionnellement élevée.

Que signifient les notes ?

La question est posée aux États-Unis. Où l’on redécouvre les mérites d’observer la distribution d’une variable de type ratio plutôt que sa valeur… Il me semble qu’un système de conversion en lettres A-E basé sur la distribution des notes existe, au moins dans les Instituts d’Études Politiques.

J’avais retenu de ce texte fascinant d’un ghostwriter universitaire (voir aussi son interview par des lecteurs) que les notes sont au coeur des dérives du système d’enseignement supérieur américain. L’université française est également gravement atteinte par le même syndrome obsessionnel1.

Ma propre position sur la notation n’est pas très construite, mais j’essaie d’apprendre aux étudiants à accorder aussi peu d’importance aux notes que je n’en témoigne moi-même. Je parle très peu des notes, sans jamais communiquer sur les données collectives comme la moyenne du groupe.

Si les lecteurs de ce blog sont intéressés, je pourrais essayer de rédiger quelques billets sur le sujet. Je serais avant tout curieux de savoir ce qui se fait ailleurs, même si je vois un peu ce qui se fait autour de moi à l’université, via mes collègues enseignant à différents niveaux d’études.

  1. Tiens, mais c’est exactement moi pendant la semaine de Noël, ça ! []

Biais de notation

À la fin du semestre dernier, j’ai cherché à savoir si mes notes d’exposé oral dans mes cours en anglais exprimaient des biais, notamment parce que je me soupçonnais de systématiquement sous-évaluer les performances des étudiant(e)s asiatiques, et réciproquement, de systématiquement surévaluer les performances des étudiant(e)s anglophones natifs.

J’ai utilisé des données de deux groupes de deuxième année ayant suivi le même cours, sans variation majeure d’une année sur l’autre. Je ne peux pas publier les données parce que la taille de l’échantillon n’est pas suffisante pour rendre complètement anonymes les participants à l’étude (qui n’ont pas donné leur accord éclairé de surcroît), mais je peux publier quelques résultats.

L’histogramme suivant donne la distribution de ma notation sur deux ans :

Notes d'exposés oraux (2009-2010)

La variable dépendante est la note reçue à l’exposé oral : N = 43, moyenne = 14.7, SD = 2.2, min = 9, Q1 = 14, médiane = 15, Q3 = 16, max = 19. Avec une médiane et une moyenne approchant 15 et une note modale à 16, on peut légitimement estimer que je note généreusement.

L’analyse des biais potentiels (sexe, origine géographique et ordre de passage) ne trouve aucun biais significatif à p < 0.05, ni même à p < 0.1 :

  • La comparaison des moyennes obtenues par les filles et les garçons renvoie une différence de 0.3 points qui n’est pas significative (p > 0.6 au t-test).
  • Le test exact de Fisher montre que la note d’exposé est indépendante de l’origine géographique (p > 0.2), même en recodant en quatre catégories (p > 0.1).
  • Une régression linéaire simple – sur l’année 2010 uniquement, N = 22 – indique que l’ordre du passage au cours du semestre n’a pas d’incidence sur la note (p > 0.6).
  • Une régression multiple du sexe et de l’origine géographique sur la note d’exposé oral indique une “prime” possible d’environ 2.5 points pour les étudiants français ou anglophones par rapport aux étudiants asiatiques, mais le modèle n’est pas significatif (p > 0.2) et faiblement prédictif (R2 < 0.2). Le modèle inclut une dummy pour contrôler l’année de suivi du cours.

Le graphe suivant montre les notes pour les origines géographiques avec cinq observations ou plus (5 Asiatiques, 17 Anglo-Saxons, 15 Français) :

Notes d'exposés oraux par origine géographique (2009-2010)

En définitive, je pense que l’analyse révèle que ma notation souffre d’un autre biais, outre sa tendance haussière (que je contre-balance parfois par des notes d’écrit plus basses de deux à trois points en moyenne) : elle est plus homogène pour les étudiants français, tous issus de la même école, que pour les étudiants étrangers.

Hormis ce dernier biais, que je suis prêt à assumer, je n’ai pas trouvé d’autre biais sur cet échantillon.

Consulting

Au prime abord, [les références théoriques et empiriques] sonnent comme un alibi académique pour impressionner les clients potentiels. La pauvreté conceptuelle est immense : qu’est-ce que le « champ des méthodes en sciences sociales » (p. 115) ? Les auteurs négligent la complémentarité des techniques et les travaux de leurs collègues ; à cet égard, la bibliographie est éloquente (à 28% celle des auteurs).

La toute petite controverse lancée par ce compte-rendu d’ouvrage, auquel les auteurs ont répondu, pointe vers quelque chose d’important : la scientificité supposée de la micro-industrie du consulting qui est en train de se former pour pallier au manque de débouchés académiques et/ou à leur faible rémunération.

Du peu que j’en ai vu dans le domaine de la sociologie de la santé, cette micro-industrie se construit sur un mélange des genres très étrange : non seulement la scientificité des études n’est pas garantie, mais certains commencent aussi à demander que leurs entreprises (privées) de consulting sociologique soit financé avec l’argent (public) d’agences comme l’ANR (propos entendu dans une journée d’étude l’an dernier).

Je crains que cette pente ne s’infléchisse vers le pire : moins de scientificité, plus d’argent public versé à des entreprises privées de plus en plus attractives et/ou lucratives par rapport au service public de l’enseignement supérieur et de la recherche. Cette tendance correspondrait assez bien aux orientations gouvernementales en la matière.

(Question cruciale pour l’avenir de la Science : « au » ou « de » prime abord ?)

Méthodes quantitatives

Je rempile pour un enseignement de méthodes quantitatives ce semestre. En attendant d’avoir le temps d’en dire plus, deux ressources utiles du côté enseignant :

J’aurais par ailleurs bien besoin de commentaires sur mon matériau de cours, et surtout d’un meilleur manuel qu’Agresti et Finlay, qui est trop détaillé pour un cours introductif sur douze séances.