Mon exemple favori d’erreur d’inférence écologique

Ce billet traînait depuis plus d’un an et demi dans les brouillons du blog : le texte date de mai 2015. Je le publie sans retouches, mais vous aurez bien noté que le “peu de temps” dont je parle au début renvoie à cette période, c’est-à-dire aux premiers mois ayant suivi l’attentat contre Charlie-Hebdo.

Il y a peu de temps, Nonna Mayer et Vincent Tiberj ont pris le temps de fournir quelques résultats sérieux sur la sociologie des participants à la “marche républicaine” qui a suivi les attentats de janvier. Leur tribune répond au dernier ouvrage d’Emmanuel Todd, qui s’est basé sur différentes corrélations géographiques pour affirmer que les participants de la “marche” étaient… autant le laisser s’expliquer :

À la suite des travaux de Durkheim sur le suicide, ou de ceux de Max Weber, mon but, c’est de faire comprendre aux gens les valeurs profondes qui les font agir et qui ne sont généralement pas celles qu’ils imaginent. Quand on observe la carte des manifestations, la première chose qui frappe, c’est ce que l’Insee appelle avec élégance la prédominance des « cadres et professions intellectuelles supérieures ». C’est elle qui permet de comprendre l’importance qu’elles ont prise à Paris, Toulouse, Grenoble, etc.

Cette “chose qui frappe” s’enseigne d’ailleurs depuis des décennies en première année de sciences sociales : la participation politique (conventionnelle, comme le vote, ou pas, comme la manifestation) est inégalement distribuée en fonction, notamment, du plus haut niveau de diplôme obtenu. Mais c’est la suite du raisonnement qui contient le ressort argumentaire principal de Todd. Accrochez-vous :

L’autre variable qui, pour moi, d’une certaine manière, est encore plus importante encore, c’est la surmobilisation des vieilles terres issues du catholicisme. Là, il faut que je rappelle ma théorie des deux France, un modèle avec lequel je fonctionne depuis longtemps déjà. D’un côté nous avons la vieille France laïque et républicaine – le Bassin parisien, la façade méditerranéenne, etc. –, la France qui a fait la Révolution en somme. De l’autre, il y a la France périphérique : l’Ouest, une partie du Massif central, la région Rhône-Alpes, la Lorraine, la Franche-Comté. Ce sont les régions qui ont résisté à la Révolution et dans lesquelles l’imprégnation catholique est restée très forte jusqu’au lendemain de la Seconde Guerre mondiale. […]

Eh bien, ce qui a inspiré ma méfiance immédiate, c’est que le 11 janvier, la mobilisation a été du simple au double entre la France de tradition athée et révolutionnaire et cette France périphérique, historiquement antirépublicaine. Ce sont les régions les moins républicaines par le passé qui ont le plus manifesté pour la laïcité, avouez qu’il y a là quelque chose d’étrange. En somme, les bastions ex-catholiques sont les endroits où on a le plus milité pour le droit au blasphème. Si on compare Marseille et Lyon, on voit même que l’intensité des manifestations est du simple au double. Qu’on ne vienne pas me dire dans ces conditions qu’il s’agit de la même laïcité que celle d’hier !¹

Nonna Mayer et Vincent Tiberj rappellent ce qui doit inspirer une “méfiance immédiate” dans ce type de raisonnement, en faisant référence à William S. Robinson et à l’inférence écologique, que j’adore illustrer (pour enseigner le paradoxe de Simpson) avec cette slide, qui est d’ailleurs précédée d’un rappel de l’exemple historique de Robinson, qui concernait l’illettrisme² :

La propension à la mobilisation au niveau régional

Bon, soyons charitable avec Todd. Supposons qu’il ait raison, et qu’une fois le niveau de diplôme pris en compte, la propension à se mobiliser “pour la laïcité” et “pour le droit au blasphème” le 11 janvier soit différente d’une région à l’autre, en rapport à l’héritage catholique régional. Après tout, la réponse que lui font Nonna Mayer et Vincent Tiberj ne dit rien de la géographie des participants.

En revanche, pour que cette différence soit autre chose qu’un artefact, il faut qu’à niveau de diplôme égal et en dehors du contexte du 11 janvier, les habitants des différentes régions françaises aient la même propension à la mobilisation, sinon le lien avec la laïcité se retrouve pris dans un ensemble d’explications possibles au différentiel de mobilisation qu’observe Todd, sans distinction possible sinon de manière subjective.

On va donc prendre les données de l’European Social Survey (ESS) et regarder ça de plus près pour les années 2010 et 2012 (les années précédentes n’utilisent pas les mêmes regroupements géographiques, ce qui rendrait l’analyse plus longue qu’une pause-café). L’une des questions posées dans l’ESS (variable pbldmn) devrait faire l’affaire :

Il existe différents moyens pour essayer d’améliorer les choses en France ou pour empêcher que les choses n’aillent mal. Au cours des 12 derniers mois, avez‐vous fait l’une des choses suivantes ? … Avez‐vous pris part à une manifestation autorisée ?

On va vérifier, en langage Todd où les régions parlent d’elles-mêmes, que les différentes régions françaises répondent “oui” dans la même proportion à cette question. Voici la carte des “réponses régionales”, en pourcentage des enquêtés et en tenant compte du schéma de pondération qui fait toute la qualité de l’enquête :

Comme on pouvait s’y attendre, la propension à manifester varie dans l’espace et dans le temps, selon des régularités qui ne s’observent pas au niveau régional : les cartes ne montrent pas les erreurs standard, qui sont conséquentes (certaines régions ne sont “représentées” que par quelques dizaines d’enquêtés), et ne disent rien du profil socio-démographique des résidents, qui varie (aléatoirement) d’une vague de l’enquête à l’autre.

On pourrait s’amuser à aller plus loin, mais pour quoi faire ? Les données ESS ne révèlent qu’une seule chose de manière stable, qui correspond à ce qu’expliquent Nonna Mayer et Vincent Tiberj à partir de données différentes : la propension à la mobilisation est nettement plus faible à droite, et plus nettement forte chez les diplômés (je ne montre pas les coefficients, mais vous pouvez faire tourner le modèle chez vous).

Pour détecter un effet géographique du style de ce que décrit Todd, il n’y a que deux manières de s’y prendre. La première consiste à réunir des données aussi granulaires que possible, de les faire passer dans un modèle multi-niveaux, et d’en tirer des conclusions prudentes sur tel ou tel prédicteur. La seconde consiste à avoir une théorie et beaucoup, beaucoup d’assurance.

1. La dernière phrase est sublime, n’est-ce pas ? C’est extrait d’un entretien au Nouvel Obs du 30 avril 2015. Le journaliste lui sert d’ailleurs complètement la soupe. Je n’ose pas citer le site Internet sur lequel j’ai récupéré l’extrait. [↩]
2. Les états américains où l’illettrisme était le plus fort était ceux où il y avait le moins d’immigrés, alors que le fait d’être né à l’étranger est un prédicteur individuel de l’illettrisme. Le paradoxe du vote des riches et des pauvres aux États-Unis est un autre exemple. [↩]

---

---