H0

Le retour au blog s’annonce plus difficile que prévu, surtout quand il y a la thèse, désespérante, et tant de choses à lire sur The Monkey Cage, où l’un des nouveaux contributeurs (avec les meilleurs billets) est un undergraduate (!) ; jetez-y un coup d’oeil, tout y passe, de 9/11 à l’euro.

And now for something completely different.

Timothée rappelle les bases de l’hypothèse nulle, un concept finalement assez difficile à enseigner, parce qu’il suppose de raisonner par rapport à une situation hypothétique aléatoirement déterminée. L’exemple dont je me sers souvent vient d’un ouvrage de Thomas Schelling, où il évoque la ségrégation raciale : si l’on distribue aléatoirement des pions blancs et noirs sur un plateau, des clusters blancs et noirs se constituent par accident. Autrement dit, pour distinguer un effet du groupe ethnique sur la résidence géographique, il ne suffit pas de regarder une carte, il faut aussi tester la probabilité d’un effet de concentration aléatoire.

Les simulations sont utiles dans ce contexte, mais la notion de simulation (ou de travail sur des données synthétiques en général) est très peu maîtrisée en sciences sociales. Surtout, je suis plutôt d’accord avec Nathaniel Beck vis-à-vis de l’hypothèse nulle : elle est rarement mobilisable en tant que telle dans un raisonnement de sciences sociales, et souvent intellectuellement surestimée par rapport aux autres résultats d’une modélisation sous forme de régression. Le risque de paradoxe de Simiand est réel lorsque l’on raisonne avec “H0”, ce qui ne condamne pas la méthode, au contraire.

Pour d’autres manières de raisonner sur des modèles quantitatifs en sciences sociales, voir ici et . L’actualité scientifique sur ce point est très dense. Pour moi, tout a commencé avec ce papier de Paul Schrodt et avec les textes de Judea Pearl. Comme me le répétait une figure tutélaire de la discipline, la critique la plus juste vient bien des plus knowledgeable. Je me demande si ces raisonnements sont aussi plus appropriés face aux très gros jeux de données, qui deviennent la norme : ne serait-ce que les données du Parti socialiste, entre les votes et les réseaux sociaux, représentent des centaines d’heures d’analyse1.

J’ai quelques régressions dans mes notes (je n’ose dire “manuscrit”), notamment une sorte d’analyse de survie et une modélisation d’auto-corrélation temporelle avec vérification par simulation. L’hypothèse nulle fait sens dans les deux cas parce que les modèles s’appliquent à des possibilités : “est il possible qu’il se soit passé… ?” (La même idée s’applique aux modèles d’apprentissage par diffusion ou de dépendance au sentier). Sur un individu, on ne se demande s’il est possible que la religion et le positionnement politique n’ait aucune connexion : on se demande la magnitude probable de cet effet par rapport et en relation à d’autres.

  1. Je préférerais lire une analyse du Parti socialiste utilisant un échantillon de votants aux primaires ou des données Facebook/Twitter plutôt qu’un commentaire sur la guerre des classes au prisme du dernier rapport Terra Nova. []

Best of 2010

L’année est bien entamée, et j’aime bien l’idée du best-of académique. En science politique, je sélectionnerais quatre textes, et j’attends vos suggestions :

  • Black Ravens, White Shoes, and Case Selection: Inference with Categorical Variables”, un texte inédit du statisticien David Freedman dans un recueil édité par David Collier (un collègue de Berkeley, bien connu en science politique) et al.. En quelques pages, tout y passe, le paradoxe des corbeaux chez Hempel, la sélection des cas d’étude, quelques références en passant à Taleb (que j’ai découvert grâce à Mark Blyth), l’inférence statistique à “faible n”, etc. Freedman est (était) un des plus grands statisticiens du 20e siècle, et l’un des plus ouverts à l’épistémologie qualitative. Un modèle.
  • Democracy and the Limits of Self-Rule : le dernier ouvrage d’Adam Przeworski. Enough said. La préface – autobiographique, comme son chapitre dans l’ouvrage de Munck et Snyder déjà mentionné – est absolument magistrale. Foncez dessus par tous les moyens possibles ! Des extraits sont disponibles. Je n’ai pas fini de dire tout le bien que je pense des recherches d’Adam Przeworski, que j’avais déjà mentionné en passant. Je n’ai hélas pas le temps de lire autant que je voudrais, mais si l’on me propose un cours libre l’an prochain, ce sera un cours sur la démocratie et (presque) rien d’autre.
  • Transnational Diffusion: Norms, Ideas, and Policies”, une synthèse magistrale de Fabrizio Gilardi sur un phénomène essentiel en science politique. Le texte est à présent daté de 2011 mais j’ai lu la version précédente de 2010. Le texte est une version de travail pour publication dans un handbook de relations internationales, mais l’on y apprend beaucoup de choses utiles au niveau méthodologique qui sont utiles en dehors de cette spécialisation. À suivre, surtout en rapport au contexte politique actuel en Afrique du Nord et au Moyen-Orient.
  • Rational Choice : je pense que j’ai enfin commencé à comprendre quelque chose à la théorie des jeux grâce à cet excellent ouvrage introductif d’Itzhak Gilboa. L’ouvrage ne m’empêchera toutefois pas de penser que l’immense majorité des articles dans les revues comme Games and Economic Behaviour (où l’on trouve ce genre de démonstration) représentent, au mieux, une perte de temps. Quitte à balayer le champ des rational choicers, je n’en dirais pas autant des recherches appliquées de Dennis C. Mueller en public choice (son manuel vient d’ailleurs d’être traduit en françaisshameless colleague plug!).

J’ai fait un peu exprès de prendre des textes hors de mes “intérêts de recherche” immédiats, parce que je pense apprendre autant en lisant de manière complètement sérendipiteuse qu’en lisant de manière focalisée. Dernier exemple en date, j’ai récemment appris beaucoup de choses en (re)lisant des extraits du chef d’oeuvre de Mary Douglas, How Institutions Think (clin d’oeil à David, à qui j’ai offert la traduction française) : Schelling, Williamson, tout y est. Quant aux clivages disciplinaires, qui m’évoquent de plus en plus la fractionalisation ethno-linguistique et religieuse, je refuse d’en tenir compte à ce stade.

Où vont, sinon, les sciences sociales à l’horizon 2020 ? La National Science Foundation a posé la question en 2010, et les réponses sont en ligne. Les thèmes de recherche d’une quinzaine des contributeurs m’étaient déjà connus, et la lecture de leurs papiers ouvre des perspectives de recherche passionnantes.

Biais de notation

À la fin du semestre dernier, j’ai cherché à savoir si mes notes d’exposé oral dans mes cours en anglais exprimaient des biais, notamment parce que je me soupçonnais de systématiquement sous-évaluer les performances des étudiant(e)s asiatiques, et réciproquement, de systématiquement surévaluer les performances des étudiant(e)s anglophones natifs.

J’ai utilisé des données de deux groupes de deuxième année ayant suivi le même cours, sans variation majeure d’une année sur l’autre. Je ne peux pas publier les données parce que la taille de l’échantillon n’est pas suffisante pour rendre complètement anonymes les participants à l’étude (qui n’ont pas donné leur accord éclairé de surcroît), mais je peux publier quelques résultats.

L’histogramme suivant donne la distribution de ma notation sur deux ans :

Notes d'exposés oraux (2009-2010)

La variable dépendante est la note reçue à l’exposé oral : N = 43, moyenne = 14.7, SD = 2.2, min = 9, Q1 = 14, médiane = 15, Q3 = 16, max = 19. Avec une médiane et une moyenne approchant 15 et une note modale à 16, on peut légitimement estimer que je note généreusement.

L’analyse des biais potentiels (sexe, origine géographique et ordre de passage) ne trouve aucun biais significatif à p < 0.05, ni même à p < 0.1 :

  • La comparaison des moyennes obtenues par les filles et les garçons renvoie une différence de 0.3 points qui n’est pas significative (p > 0.6 au t-test).
  • Le test exact de Fisher montre que la note d’exposé est indépendante de l’origine géographique (p > 0.2), même en recodant en quatre catégories (p > 0.1).
  • Une régression linéaire simple – sur l’année 2010 uniquement, N = 22 – indique que l’ordre du passage au cours du semestre n’a pas d’incidence sur la note (p > 0.6).
  • Une régression multiple du sexe et de l’origine géographique sur la note d’exposé oral indique une “prime” possible d’environ 2.5 points pour les étudiants français ou anglophones par rapport aux étudiants asiatiques, mais le modèle n’est pas significatif (p > 0.2) et faiblement prédictif (R2 < 0.2). Le modèle inclut une dummy pour contrôler l’année de suivi du cours.

Le graphe suivant montre les notes pour les origines géographiques avec cinq observations ou plus (5 Asiatiques, 17 Anglo-Saxons, 15 Français) :

Notes d'exposés oraux par origine géographique (2009-2010)

En définitive, je pense que l’analyse révèle que ma notation souffre d’un autre biais, outre sa tendance haussière (que je contre-balance parfois par des notes d’écrit plus basses de deux à trois points en moyenne) : elle est plus homogène pour les étudiants français, tous issus de la même école, que pour les étudiants étrangers.

Hormis ce dernier biais, que je suis prêt à assumer, je n’ai pas trouvé d’autre biais sur cet échantillon.

Méthodes quantitatives

Je rempile pour un enseignement de méthodes quantitatives ce semestre. En attendant d’avoir le temps d’en dire plus, deux ressources utiles du côté enseignant :

J’aurais par ailleurs bien besoin de commentaires sur mon matériau de cours, et surtout d’un meilleur manuel qu’Agresti et Finlay, qui est trop détaillé pour un cours introductif sur douze séances.

Calcul du khi-deux sous Excel, en version accélérée

Note : une version améliorée de ce billet sortira dans quelques semaines.

Un exemple classique en statistiques vient du manuel de Ronald A. Fisher, Statistical Methods for Research Workers, publié en 1925. L’exemple consiste à observer les couleurs de cheveux des filles et des garçons, et de chercher à savoir si la distribution de la couleur de cheveux est indépendante du sexe ou non.

Le texte du manuel est disponible en ligne. Voici la table 17 de l’exemple 11 :

Fisher table 17

La réponse à la question de l’indépendance statistique entre sexe et couleurs de cheveux est fournie par un test très simple, le “khi-deux” de Pearson, qu’il est également très simple d’obtenir avec R, comme indiqué dans l’ouvrage de Pierre-André Cornillon et al., Statistiques avec R.

L’ouvrage fournit le code, que je modifie à la marge et où je re-traduis les entrées vers l’anglais, à partir du manuel de Fisher :

data <- c(592,544,119,97,849,677,504,451,36,14)
tab <- matrix(data,ncol=5)
rownames(tab) <- c("Boys","Girls")
colnames(tab) <- c("Fair","Red","Medium","Dark","Jet Black")
k2 <- chisq.test(tab); k2

L’ouvrage montre aussi qu’il est très simple de transformer la matrice tab sous R pour obtenir plusieurs tableaux de fréquences utiles pour comprendre ce que l’on fait lorsque l’on calcule le “khi-deux”, de même qu’il est très simple d’obtenir ces tableaux sous Microsoft Excel.

Pour obtenir le “khi-deux” sous Microsoft Excel, la manoeuvre n’est pas beaucoup plus compliquée. Il faut commencer par obtenir le tableau des valeurs qui devraient être observées si le sexe et la couleur de cheveux étaient indépendantes l’une de l’autre.

Voici le tableau de Fisher, moins la dernière ligne, qui ne nous servira pas ici. Pour obtenir la valeur attendue (sous hypothèse d’indépendance) de garçons aux cheveux blonds (fair, dans la délicieuse appellation britannique), on multiplie le nombre total de blonds dans l’échantillon par le nombre total de garçons dans l’échantillon, en divisant par la taille totale de l’échantillon :

Pour obtenir le “khi-deux”, on construit un autre tableau, où l’on calcule le carré de la différence entre valeurs observées et valeurs attendues, divisé par les valeurs attendues. On n’a pas encore utilisé la moindre fonction Excel, excepté la fonction SUM pour calculer les totaux en lignes et en colonnes.

Le “khi-deux” est la somme de ces valeurs. Pour connaître le nombre de degrés de liberté (df), on multiplie (nombre total de lignes – 1) par (nombre total de colonnes – 1) dans notre tableau de valeurs, en utilisant les fonctions ROWS et COLUMNS. Il reste à calculer la probabilité que la relation observée soit accidentelle (p), avec la fonction CHIDIST qui demande le “khi-deux” et df comme arguments.

On a utilisé la version de base d’Excel, qui présente le seul avantage d’être installée sur presque n’importe quel poste informatique. Le test est plus rapide à produire sous R, STATA, SPSS ou avec un module d’analyse statistique pour Excel, mais cette version tient en un fichier Excel assez simple d’utilisation.


Question-bonus : pourquoi certaines cellules apparaissent en vert ? Parce que je “vérifie” toujours mes calculs avec un peu de formatage conditionnel. De la même manière, les bordures des tableaux me servent à “protéger” les tableaux contre les insertions sauvages de rangées ou de colonnes.


Mise à jour : bienvenue aux lectrices et lecteurs de la note de bas-de-page de la page 248 du manuel d’Yves Surel, La science politique et ses méthodes, Armand Colin, 2015 :) Disclaimer : l’auteur du billet fut l’étudiant de l’auteur du manuel.

J’apprécie beaucoup Michèle Tribalat

Donc, quand elle passe à la radio, je fais une note d’une ligne pour le signaler.

(Ce n’est pas complètement déconnecté des élections, puisque ces chiffres touchent à l’immigration. Pour rappel, la question “Y a-t-il trop d’immigrés en France ?” récolte toujours des taux de réponses positives très élevés. Pour les commentaires purement électoraux, voir , , et pour des chiffres tangibles.)

Mise à jour, juin 2015 : tous les quatre ans environ, je détruis les archives de mes blogs personnels. Ce blog n’étant pas concerné, je retombe sur ce billet au hasard d’une recherche sur toute autre chose.

En 2009-2010, le débat sur les statistiques ethniques (notamment en milieu carcéral) m’intéressait beaucoup, et j’appréciais les personnes qui y participaient : du peu que je m’en souvienne, il y avait des contributeurs de qualité de chaque côté de l’argument.

Le débat n’est pas devenu anachronique : au contraire, la (dé)socialisation des prisonniers, leur regroupement par origine géographique et leur surnombre sont toujours des sujets d’actualité, de même que les “statistiques ethniques” en règle générale.

Or si le sujet était déjà un terrain miné il y a quelques années, il l’est encore plus aujourd’hui, s’étant politisé de la pire manière possible, mais peut-être aussi de la manière la plus prévisible, par un récit qui commence avec l’Algérie française et qui se termine dans les avatars contemporains du clientélisme électoral.

De plus, je ne suis pas sûr d’apprécier beaucoup le nouveau personnage public de Michèle Tribalat, qui disserte désormais sur la liberté d’expression dans les colonnes de Figaro Vox pour établir un rapport de force qui n’a plus rien à voir avec le débat initial.

Les normes du “bon gouvernement”, en fiches

Les institutions qui produisent des discours normatifs sur la “bonne économie” ont lu Karl Polanyi et savent qu’il leur faudra aussi produire une théorie du “bon gouvernement”, comme l’ont fait les économistes néoclassiques (ou autres).

En accord avec cette idée, l’OCDE a publié aujourd’hui son document pour la France, dans la série Government at a Glance. Je n’ai pas encore lu le document intégral, mais il y a, en substance, quatre objectifs à cette série : (1) produire des benchmarks de transparence et d’impartialité, (2) fournir un aperçu de la décentralisation des pouvoirs, et surtout (3) établir les grandes catégories de dépenses gouvernementales, et (4) mesurer la pénétration du secteur privé.

Du document, il ressort que la France a des dépenses sociales plus élevées, et un secteur public plus important, que la moyenne OCDE (pour rappel, l’OCDE comprend 30 pays, principalement en Occident, plus quelques pays asiatiques, dont la Corée du sud, et la Turquie). La plupart des résultats sont connus, d’autres sont plus intéressants : la proportion des femmes “aux commandes” dans l’administration est très en-deça de la moyenne OCDE.

Ces documents sont une subtile compilation de données qui recoupent les données scientifiques, mais qui sont aussi symboliquement et normativement chargées (comme la part des “dépenses sociales”, qui ne signifie pas grand chose). Le simple fait de les mentionner crée des inférences à mi-chemin entre la démonstration et le stéréotype : compte tenu des dépenses, par exemple, la France est un pays “très social”.

Le rapport à la moyenne OCDE est, pour sa part, un dispositif de discipline typiquement foucaldien (l’Union européenne y a aussi souvent recours) : les pays acquièrent des “rangs”, qui les confortent dans leurs préjugés sur eux-mêmes, ou qui les incitent à faire mieux en participant à créer du blâme, internalisé ou externalisé, sur leur “position”. Les indicateurs composites du document semblent ainsi dire que la France a un système budgétaire plutôt prévoyant et flexible, mais faiblement évalué, en comparaison aux autres (bonnes) pratiques de la zone OCDE.

Il faudrait étudier le traitement journalistique, et tracer l’influence de ce document chez les élites dirigeantes, pour se faire une idée sur son autorité effective. En attendant, c’est un document assez typique : la Banque mondiale et le Fonds monétaire international font exactement la même chose pour les pays en voie de développement. En Europe, c’est la Commission européenne et ses organes (Eurostat) ou l’OCDE qui se chargent de produire ces normes destinées à guider les dirigeants politiques dans une économie ouverte.

L’intérêt de ces documents pour les chercheurs est double : on peut soit les prendre pour argent comptant (cela arrive souvent : par exemple, les données OECD Health Data ont valeur de standard scientifique), soit en produire une analyse externaliste, comme esquissé ici.

Ressources pour R, logiciel libre de statistiques

Une fois de plus, nos collègues de QUANTI ont fait du beau travail en publiant un billet introductif à R. J’avoue être un peu jaloux : j’avais repéré l’introduction, en français, que Julien Barnier a écrite tout exprès pour les sociologues – et sympathisants, comme nous ! – et voulais en faire un billet. Grillé…

Ce travail est d’utilité publique. Pourquoi ? Parce que :

  • R est libre ;
  • donc R est gratuit (et quand on connaît le coût des licences SAS ou SPSS, ça fairait faire de sacrées économies à nos labos que d’imposer progressivement R, quitte à ce que l’argent économisé serve à financer le développement de nouvelles interfaces ou nouvelles fonctions);
  • mais R est aussi, du coup, fortement collaboratif ;
  • R a probablement, aujourd’hui, la plus grosse communauté d’utilisateurs au plan international (source) ;
  • surtout, R a sûrement la plus grosse communauté de développeurs du monde : potentiellement, n’importe quel utilisateur de R. En tous les cas, dans bien d’un domaine, dès qu’un chercheur développe une nouvelle idée/formule/procédure/méthode, il l’implémente dans R, ce qui fait qu’elle y est disponible bien avant SPSS/SAS etc.
  • Surtout, et c’est ça qui me décide à faire l’effort de passer à R, je peux tout faire dedans, alors qu’avant (et encore aujourd’hui, partiellement, vu que je suis dans le processus de passer à R), je devais jongler entre plusieurs logiciels, pas forcément bien articuler. Pour donner un exemple, il m’est arrivé de vouloir cartographier des analyses factorielles : il fallait que je fasse mon ACP (par exemple) sous SPSS, puis que je fusionne les résultats avec mes données cartographiques sous Excel, enfin que je récupère tout ça sous MapInfo… et en général, il y avait un bug au milieu. R me permet de gérer toute la chaîne sans interruption, avec le même format de données, en pouvant sauver un script pour ne pas avoir à réinventer la roue la prochaine fois que je veux faire la même chose.
  • De plus, R étant un logiciel libre et en ligne de commande, il n’y a virtuellement pas de limite aux réglages que je peux effectuer. Par exemple, pour faire des graphiques, je peux en faire d’infiniment plus beaux sous R que sous Excel, par exemple.

Bref, depuis quelques mois, je suis un grand, grand fan de R (d’ailleurs, je gonfle tous mes amis collègues avec). J’ai même acheté ce livre sur Amazon.com, c’est dire (mes amis me trouvent bizarre depuis). Mais, au-delà du côté geek, je pense sincèrement que l’Université tirerait un très grand profit à 1) installer R sur ses machines 2) former ses personnels susceptibles de faire du traitement de données à R 3) former les étudiants à R. Sur ce dernier point, je l’ai déjà dit ailleurs, je trouve consternant le manque de formation à l’analyse de données des étudiants en sciences sociales français (et de leurs enseignants aussi, d’ailleurs). Désormais, le coût des logiciels ne sera plus un argument…

Quelques ressources pour R :

Il y a bien sûr beaucoup, beaucoup d’autres ressources pour R. N’hésitez pas à signaler celles que vous utilisez en commentaire !