Demain à Paris : « Approaches to Understanding the Quality of Legislation »

Ce jeudi, le Médialab et le LIEPP de Sciences Po accueillent Ruth Dixon, qui présentera ses travaux sur l’étude de la législation à partir de méthodes initialement conçues en bio-informatique.

J’ai eu la chance d’assister à une présentation des recherches de Ruth Dixon il y a plus d’un an, à Londres, et la similarité entre son approche et celle à l’origine de « La Fabrique de la Loi » m’a incité à proposer cette invitation en séminaire.

Venez nombreux et sans vuvuzelas, mais surtout, n’oubliez pas de vous inscrire avant :

Notes de travail sur les réseaux de collaboration législative

J’ai eu la chance d’intervenir, il y a dix jours, dans le séminaire interne du CEVIPOL, le laboratoire de science politique de l’Université Libre de Bruxelles. J’étais invité par Émilien Paulis, que je remercie au passage pour l’invitation, pour la logistique et pour l’accueil sur place.

Mon intervention portait sur l’étude des réseaux de collaboration législative. Les slides que j’ai utilisées sont proches de celles que j’avais présentées en juin 2016 dans une conférence d’utilisateurs de R, et que j’ai présentées à nouveau cette même année dans une conférence « quanti » à Lille et dans le séminaire du Médialab de Sciences Po.

Quelques extraits ci-dessous, à cliquer pour obtenir les slides au complet :

Polls, surveys and the known unknowns of the French presidential election

Un dernier billet en anglais, et je ne dirai plus rien sur l’élection présidentielle de cette année. Je ne pense même pas faire de “post-mortem” du premier tour, vu que mes prédictions n’ont rien d’exceptionnel (loin de là) et que les réponses les plus intéressantes viendront après les résultats – et l’étude des reports de voix – des législatives.

If you have read any of my two previous blog posts on the respective electoral prospects of Marine Le Pen and Emmanuel Macron in the upcoming French presidential election, you might have noticed that I did not use either polling or survey data to produce my predictions, relying entirely instead on past elections.

This is because I hold strong views about both opinion polls and electoral survey data when it comes to France. I detail these views below, as some kind of a methodological appendix to my previous posts.

Note that my electoral predictions are nothing but semi-educated guesses, and that my methodological views are just the same: I have no scientific credentials in the fields of electoral studies, opinion polling or survey methodology.

Like the previous ones, this post is written in English because it is addressed to friends who do not read French, but who keep asking about the French presidential election and the risk that it might turn into a local equivalent of the Brexit “Leave” vote or Donald J. Trump’s election to the U.S. presidency.

Update, 24-25 March: added a section on non-random polls, including a link to (and several citations of) the UK 2015 “polling miss” report, as well asa link to the French Polls Committee.

French opinion polls

As in any other wealthy representative democracy, opinion polls provide a large share of the electoral horse race spectacle. And just like anywhere else, these opinion polls have sometimes been awfully wrong, even though their average historical record is, by and large, broadly accurate (more on that later).

There are lots of reasons why one might be skeptical of opinion polls in general, and French opinion polls in particular. The classical Bourdieusian critique applies here, and French political scientist Alain Garrigou has done lots to popularise it: polls are partly performative, insofar as they frequently ask questions that respondents had not thought about before. In the context of a two-round election, this particularly applies to hypothetical “second-round” voting scenarios.1

Another problem, which is perhaps more prevalent in French opinion polling than elsewhere, has to do with sampling. In recent years, the issue of whether opt-in Internet sampling creates representative samples has attracted a lot of discussion, but an older and, in my view, more problematic issue, has to do with quota sampling, another non-probabilistic method that is widely used by French polling institutes, principally because it is much less expensive than proper random sampling.

The main problem with quota sampling is that it creates a layer of opacity around the precise re-weighting methods used to make the poll as representative as possible of the target population – an operation called “redressement” in the jargon of French polling institutes, which develop their own “in-house” methods for doing so, and then sit on it like some kind of industrial secret.2

This is a huge issue: even when quota sampling seems to be able to “emulate” simple random sampling, we have no idea how that happens. To me, this issue makes the defence of quota sampling hopeless, perhaps even more than the trivial observation that the standard error of a quota sample has no formal relationship to sample size, which makes the presentation of error margins in quota-based polling results highly misleading to the public.3

Troubles with non-random polls

Allow me to elaborate for a few paragraphs on the point made above.

The idea of “emulating” simple random sampling is, at its core, fundamentally flawed. Nature cannot be fooled: pseudo-randomness is non-randomness. Even simple random samples will contain nonrandom (missing data) components, which are hard enough to deal with. Adding non-randomness “at the root” of the sampling procedure is just madness in the present context.

And yet this is something that polling companies seem to be okay with, and not just in France: just next door, the British polling market seems to be configured exactly the same way, and even though they have less things to predict over there since the party system contains less (national) elements, they also, from time to time, get it completely wrong, precisely because their samples are non-random.

Here’s the conclusion of the committee that worked on the serious polling miss that occurred in the UK before the 2015 general election:

… the primary cause of the polling miss in 2015 was unrepresentative samples… The statistical adjustment procedures applied to the raw data did not mitigate this basic problem to any notable degree. The other putative causes can have made, at most, only a small contribution to the total error. (p. 4, emphasis in original)

And a few pages down in the same document:

… all GB pollsters in 2015 took a common approach to sampling and estimation: they assembled a quota sample of eligible individuals, which was then weighted to known population totals. They asked sample members their vote intention and likelihood of voting, derived a predicted sub-sample of voters, and produced weighted estimates of vote intention for this sub-sample. (p. 22).

And then the report goes on to explain how the BES and BSA surveys are fundamentally different, because they use simple random sampling, ad because “both surveys produced good post-election estimates of the difference in vote shares between the Conservatives and Labour” (p. 27; important word here: “post” means that the surveys were run after the election, so considerations about turnout and voting uncertainty did not apply).

Issues with non-random quota samples are discussed in detail in the Francophone Wikipedia entry for opinion polls. The entry has multiple issues to do with its sources and the balance of its sections, but it otherwise makes a good read on the topic of why opinion polling is a problematic source of information, especially when it comes to voting behaviour. And if you need an example of a recent opinion poll to illustrate how black-boxed polling methodology is, here’s one.4

What can electoral polls be used for?

The flaws outlined above do not mean that opinion polls cannot produce either interesting forecasts or useful information. Measures of voting uncertainty, for instance, can be accurately measured through polls, although their generalisation to the electorate is still a very risky exercise absent of detailed information on the composition and re-weighting/redressement of poll samples. Still, compared to past elections, it seems that voting uncertainty is currently very high, especially on the left.

Another interesting use of opinion polls for electoral purposes consists in aggregating as many polls as possible, re-weight their results according to what we know of their past performance and overall reliability, and then use these results to forecast electoral results. This style of electoral forecasting has been popularised by Nate Silver‘s forecasts of U.S. elections, some of which were highly accurate, some of which were far off the mark.5

There is currently one attempt to build a Silver-style, “polls-only” forecast of the French 2017 presidential election, which came to my knowledge thanks to a tweet by François Massot. The forecast is produced by Victor Poughon and published on the “Depuis 1958” (“Since 1958”) website. The current result of the forecast, which is based on transparent polling data, unambiguously predicts that Emmanuel Macron will win the election:6

The unequivocal result of the 2017 forecast is, to me, less interesting than the “retrofit” of the model to previous elections. The Bayesian methodology of the forecast shows the model fit to the 2012 presidential election, with the difference between the actual (red) and predicted (black) results:

I also find this kind of exercise interesting because it produces a rough estimate of how much of the vote might go to the first-tier (20%+ vote shares), second-tier (10-20% vote shares) and third-tier candidates (5% or less vote shares). In 2012, these shares respectively represented around 55%, 38% and 7% of the first-round vote. For 2017, the model predicts 44%/44%/12% vote shares, which is consistent with estimates of higher voting uncertainty:

Final observations: note how wide the credible intervals reflected in the predicted vote shares shown above are. Also note that the model does not say anything about turnout, which might be lower this year. Last, note that the model cannot inform us about who is voting for whom, i.e., about voter realignments (which can also differ between presidential and legislative elections). For all these reasons, we need other forms of electoral data to supplement what polls might provide.

French electoral surveys

Especially perhaps in a multi-party system, highly detailed and sophisticated electoral surveys are much, much more important than polls to get the data generating process – i.e. what makes people cast a vote, and for whom – right. Do we have (access to) such surveys in France?

The answer is: kind of. Here are, for instance, some results from the most recent CEVIPOF/Ipsos/Steria electoral survey, the Enquête Électorale Française 2017, which also show high rates of voting uncertainty, especially when it comes to the left-wing candidates:

What credit might we lend to that survey? There is, in fact, no way to tell, except for CEVIPOF or Ipsos/Steria insiders. The survey data are not public, and the kind of sketchy technical explanations provided in the media hint that even for the official partners of the survey, French newspaper Le Monde and the Jean-Jaurès Foundation, the exact methodology that produced the data is a black box.

Lack of transparency from private polling institutes is one thing; but partly-publicly funded research is different, or at least, in my view, should be. The conclusions that insiders are drawing from the Enquête Électorale Française 2017 are highly valuable, but they do not allow outsiders to learn anything from the survey data itself, or to reuse the data in different ways. In short, French electoral data, just like many other forms of data, suffer from serious availability and cumulativity issue.

Further problems with survey data

There are several other problems with “flat microdata” (repeated cross-sections), which make up most of polling and electoral survey data.

First, to answer some questions, we need proper longitudinal (panel) data, that is, data that are produced by asking repeated questions to the same respondents at different points in time. Second, for many other questions, we need relational (network) data, of the kind produced by family-wide sampling (when the entire household is sampled). Last, in the many cases (including voting) where geography matters, we often need spatial (geolocated) data.

A few years ago, my co-blogger Joël called for the launch of a longitudinal French National Election Study, suggesting that the survey should allow multilevel analysis—that is, a form of analysis that can observe and control for the existence of hierarchical (e.g. local/regional/national) patterns:

Such a survey exists in the United States. France has no equivalent survey; the French national statistics agency does not seem to be interested in running one; and the European Social Survey, which has many of the required qualities that such a survey would call for, can only imperfectly fit the bill. Last, the French Ministry of the Interior cannot produce such a survey, out of fear of being accused to produce a partisan survey.


As a result of the many different limitations outlined above, there is no data source to turn to when one wants to analyse voting intentions in France. Sure, there are polls and electoral surveys, but neither of them are currently transparent enough to allow for independent reanalysis. Instead, what we have in France is a small club of (French) election specialists, working on disparate data sources that only very imperfectly cumulate.

Things might be getting better: France has a data repository, the Réseau Quételet, which lets researchers access some of the existing electoral studies produced under the supervision of various research teams. Note, however, that the current “French Election Studies,” a by-product of the Comparative Study of Electoral Systems (CSES), are limited to presidential-election years, and are available only for 2007 and 2012, even though they seem to have been running for longer than that.

Further reading

This blog has many posts about opinion polls, some of which focus on (older) French presidential elections: see here, here and here.

For a fuller assessment of French survey data, take a look at the appendix in Vincent Tiberj’s last book on cohort and generational effects among French citizens. The book itself is absolutely excellent, and the appendix provides a useful list of surveys – many of them cross-national – that contain data on French social and political attitudes7

  1. And outside of electoral periods, one might argue that polls co-produce the presidential approval ratings that they claim to measure. Notwithstanding, I do not agree with Garrigou that prohibiting electoral polls is the way to go. []
  2. Furthermore, there is no French equivalent of either the ICPSR or the Pew Research Center, which means that there is no repository of polling data to turn to in order to inspect raw survey data. As a consequence, the entire system of French opinion polls is effectively black-boxed. []
  3. The committee in charge of regulating polls has stated that polls should come with an empirical “margin of uncertainty” rather than a theoretical one, which actually makes things worse, since “empirical” can mean pretty much anything here. []
  4. The linked example characteristically provides none of the methodological explanations that should come with any polling result: how were the samples collected, how was nonresponse addressed, what the denominators are for population/electorate estimates, etc. []
  5. For another example of aggregated-polls-based forecasting, see Chris Hanretty’s forecast of the Italian 2013 general election. []
  6. Note that the 2017 forecast goes beyond the first round of the election, and actually attempts to predict second-round results. Also note that Macron has always been high in the approval-rating polls, which likely played a role in his candidacy. In past elections, Alain Poher and Édouard Balladur also ran for the French presidency (in 1969 and 1995 respectively) with similarly high approval ratings in the polls. Both lost. []
  7. Namely: EB, EVS, ESS, EES, CEVIPOF and TriÉlec 2012 surveys, CNCDH Racism Barometer, Insee Participation Survey, Ined TeO survey, and the 1967 French National Election Survey by Philip E. Converse and Roy Pierce. One might consider adding the ISSP and the Insee EDP (census extract) to the list. []

Annals of Youtube Science 1(4) : Big Data

Jusqu’à présent, à chaque fois que j’ai parlé de « big data » sur ce blog, ça s’est mal terminé. Le concept est élusif, et en science politique, la base de données qui ressemble à du « big data » a de sérieux soucis (la version corrigée est en cours de développement).

Ces réserves ne signifient évidemment pas que l’expression « big data » ne recouvre rien du tout : il y a d’excellents exemples de « big data« , notamment en biologie cellulaire et en linguistique. De là à savoir s’il y a une science qui accompagne l’analyse de ces données… c’est compliqué, mais cette conférence de Robert Grossman, donnée en 2013 à l’Université de Chicago, met les points sur les « i » :

Robert Grossman dirige le Center for Data Intensive Science de l’Université de Chicago, et le fondateur de l’Open Data Group. Les exemples de « big data » qu’il cite sont liés à sa discipline d’origine, la médecine, qui est susceptible de devenir une science assez différente de ce qu’elle est aujourd’hui si l’on parvient à séquencer non pas mille mais un million de génomes, par exemple.

La conférence provient de la chaîne Youtube de l’Université de Chicago, et plus particulièrement de sa série Uncommon Core, où l’on trouvera tout un tas de conférences sur des sujets aussi variés que les origines de l’islam (par Fred Donner) ou les implications de l’open data pour le gouvernement des espaces urbains (que je n’ai pas regardé en entier, mais l’intention y était).

Sur le même thème

Sur le même thème, la journée d’étude « Science XXL. Ce que l’abondance et la diversité des données font aux sciences sociales« , déjà citée il y a un bail, se rapproche — pensez à vous inscrire et à réserver vos 16-17 mars !

Voir aussi la même annonce chez Arthur Charpentier.

Women Also Know Stuff, édition personnelle 2017/02

La suite de ce billet. Édition précédente : 2017/01. Les règles de cette série de billets se précisent : tous les liens pointent vers des textes ou des morceaux de musique composés par des femmes (ou co-composés par au moins une femme, dans le cas des compositions multi-auteurs). Chaque billet de la série est publié à la fin du mois et contient 10 items, plus une « mention spéciale » (spéciale en quoi ? je ne sais toujours pas). Les domaines couverts sont variés, mais vu ce que je lis et j’écoute, attendez-vous à de la science politique (évidemment), de l’analyse de données1, et de la musique bizarre.

  1. Emily Barry, « Applying Data Science to the Supreme Court: Topic Modeling Over Time with NMF (and a D3.js bonus) » :

    barry-scotus-topics

  2. Jenny Andersson et Egle Rindzeviciute, « The Political Life of Prediction. The Future as a Space of Scientific World Governance in the Cold War Era » :

    This working paper explores the role of the future as a space of scientific exchange and dialogue in the Cold War period. We argue that in East and West the governance of the future were understood as both intellectual and technical problem that, importantly, challenged existing notions of the nature of liberal democratic and communist political regimes. Casting the future as a governable sphere led to the development of new forms of scientific governance which sought explicitly to depoliticize the future and turn it into a new transnational domain of technocratic politics. The paper focuses on the parallels and exchanges among American and Soviet futurologists. East-West collaboration was essential to the invention of the future as a governable technoscientific space, situated beyond political dispute.

  3. Daphne Oram2, Andrea Parker3 et Daz Quayle, « Are You There? » (Live from the Roundhouse), tiré de Private Dreams And Public Nightmares (2011) :

  4. Valerie J. Bunce et Mark R. Beissinger, « Taking Democracy for Granted » (sur l’excellent blog collectif Duck of Minerva, qui devrait plaire à tous les lecteurs de Crooked Timber et de The Monkey Cage) :

    … The costs of nationalist tropes for democracy are many. They give candidates a license to avoid talking about policy. They silence the opposition, since it cannot possibly come out against the nation. They sow divisions among the public. But perhaps their greatest danger is that they give rise to the demand for strong leadership—leaders who will do anything to defend the nation from its enemies.

    To those who view American politics as exceptional, Trump is an anomaly that is difficult to explain. To us, his politics are disconcertingly familiar.

  5. Katharina A. Zweig, Network Analysis Literacy. A Practical Approach to the Analysis of Networks (Springer, 2016) — un bouquin qui clarifie l’analyse de réseaux par le biais des modélisations complexes parues ces dernières années. Fort utile.

  6. Elisabeth S. Clemens : What is Political Sociology? (Wiley, 2016). Ayant lu quelques-uns des articles de l’auteur, je m’attends à une excellente synthèse couvrant un énorme spectre spatio-temporel, à la Sewell.

    Note : j’ai reçu, depuis la rédaction de ce billet, ma copie de l’ouvrage, et je ne suis pas déçu. Comme prévu, c’est une vaste mais brève synthèse de la sous-discipline.

  7. DJ Mutamassik (et Spit), « Complicity (M28 Mix)« , remix déjanté d’une chanson d’Arto Lindsay, sur l’excellent album d’illbient Hyper Civilizado (1996) :

    L’album de Mutamassik Symbols Follow (2015), où celle-ci joue tous les instruments, vaut aussi le détour si vous aimez l’ambient expérimental façon Nobukazu Takemura, qui reste le maître absolu, inégalé et inégalable du genre.

  8. Amelia Tait : « The Movie That Doesn’t Exist and the Redditors Who Think It Does » – sur un phénomène qui peut paraître invraisemblable, mais qui est bien connu des chercheurs faisant des entretiens sur des faits distants : le cerveau humain fabrique de très intéressants souvenirs de faits n’ayant jamais existé.

  9. Lucie Beraud-Sudreau et Hugo Meijer, « Enjeux stratégiques et économiques des politiques d’exportation d’armement. Une comparaison franco-américaine » (Revue internationale de politique comparée, 2016) :

    […] Cet article propose un schéma explicatif [montrant] que le poids relatif des considérations stratégiques et économiques dans l’élaboration des politiques d’exportation d’armes dépend, sur le plan international, du positionnement de l’État dans la hiérarchie mondiale des producteurs d’armement et, sur le plan national, du degré de dépendance à l’exportation de son industrie de défense. Cette typologie est ensuite testée à travers une comparaison des politiques américaine et française d’exportation d’armement, à partir d’entretiens réalisés à Washington D.C. et à Paris et de câbles diplomatiques fuités par Wikileaks. […]

  10. Anoushka Shankar, « Red Sun« , de l’album Rise (2005) :

Mention spéciale : Fernanda Martins, l’une des rares femmes dans le sous-genre hard techno/schranz, qui est quasi-exclusivement dominé par des hommes (Kvitta, Liebing, Natus, Ranieri, Rush). Le mix ci-dessous a été réalisé avec Sheefit, a.k.a Gabriela Mariano, la moitié féminine du duo de hard techno Motormorfoses.

  1. Généralement avec R, parfois avec Python. []
  2. Une pionnière du genre (synthétiseurs et musique concrète). Mon billet de 2016 en cite d’autres. []
  3. Oui, c’est la même que dans l’édition 2017/01. []

Magrit, une interface de cartographie thématique en ligne

Un outil qui fera date :

Le thème de la cartographie revient périodiquement sur ce blog : je n’y connais rien et me contente de bricolages approximatifs, mais Joël s’y connaît beaucoup, beaucoup plus, et produit régulièrement de très chouettes résultats cartographiques.

Nous avons tous les deux été impressionnés – et comme le montrent les premiers retours sur les listes de diffusion, nous ne sommes pas les seuls – par la qualité de Magrit, qui permet de faire de la cartographie thématique depuis une interface interactive très bien documentée. Les résultats sont proches de ceux que permet d’obtenir le package cartography, et pour cause, c’est en partie la même équipe qui produit les deux outils.

Plus de détails sur le site de l’UMS RIATE, où officie Timothée Giraud, que je suspecte d’être le gentil organisateur des deux communautés de développeurs du package cartography d’un côté, de Magrit de l’autre.

Exemple de carte tirée de la galerie Magrit :

À suivre sur Hypothèses

La plateforme Hypothèses est définitivement the place to be pour suivre ce qui se fait en cartographie avec R (et d3.js, et autres trucs associés). Je vous conseille :

Persée.fr libère ses données !

Il y a bientôt deux ans, j’avais écrit un peu de code pour récupérer des informations sur le sous-espace éditorial constitué par les articles publiés dans les revues du portail de revues scientifiques Cairn.info.

À l’époque, j’avais aussi commencé à écrire le code pour faire la même chose avec Persée.fr, mais n’avais pas persévéré : le code HTML des pages était beaucoup plus lourd à manier que celui de Cairn.info, et les possibilités de chaînage entre les deux plateformes trop limitées.

Ces barrières techniques viennent de tomber : Persée a récemment lancé son portail « open data » (qui s’appelle, ne me demandez pas pourquoi, un « triple store« ), où l’on peut désormais récupérer toutes les métadonnées des articles publiés sur la plateforme dans un joli format RDF !

Les équipes de Persée.fr ont vraiment bien fait les choses : le portail peut être interrogé en SPARQL, et les identifiants des individus (auteurs, éditeurs, etc.) sont alignés sur le référentiel IdRef que l’on retrouve sur SUDOC et sur Thèses.fr (voir ce billet).

À l’heure où j’écris ce billet, je n’ai fait que lire la documentation du portail, qui explique très bien les choix (judicieux) de l’équipe à l’initiative de son lancement. Plus de nouvelles quand j’aurai un peu joué avec les données.

Quoi de neuf du côté de la mise sur agenda ?

Billet exhumé des brouillons de 2016 ; du coup, les références bibliographiques sont de l’an dernier. Je le publie ici sans l’avoir vraiment terminé ou mis à jour, mais je n’ai rien aperçu de notable dans les revues depuis les textes cités plus bas.


Les modèles de la mise sur l’agenda gouvernemental font partie de ces cadres analytiques souples dont on a besoin en « quali » comme en « quanti », et encore plus en « quali » ou « quanti » comparatifs.

Pour celles et ceux qui se demandent de quoi la mise sur l’agenda est faite d’un point de vue scientifique, allez voir cet article et ce chapitre d’ouvrage, tous deux de Patrick Hassenteufel, ou bien ce cas d’étude par Bastien Irondelle1. Notez au passage que la notion d’agenda se retrouve dans trois des dictionnaires des Presses de Sciences Po – , et –, et que la modélisation par « mise sur agenda » ne se limite pas au gouvernement : en voici un exemple.

Du côté quanti

En ce qui concerne les approches quantitatives de la mise sur l’agenda, on dispose régulièrement de travaux de synthèse, car les résultats sont très cumulatifs. En voici le dernier épisode, écrit par l’un des auteurs du bouquin qui fait office de traité fondateur pour ces approches :

agenda-setting-baumgartner

agenda-setting-gpw La table des matières du bouquin résumé par Frank Baumgartner montre par ailleurs très bien le côté cumulatif de ces recherches, qui tournent toutes sur une recette méthodologique suffisamment simple pour être utilisée à grande échelle—collecter et coder des données, les envoyer dans des modélisations de séries temporelles avec les ajustements nécessaires en fonction de leur distribution initiale, et comparer, de manière plus ou moins profonde, les résultats d’un pays à l’autre.

La recette a énormément de qualités, n’est évidemment pas exempte de défauts, qui sont loin de lui être propres—le nationalisme méthodologique, par exemple.

Du côté quali

Qu’en est-il, à présent, du côté « quali » ? On dispose de beaucoup de synthèses, mais qui me semblent beaucoup moins cumulatives, et c’est dommage, bien que prévisible : il est plus difficile de comparer la mise à l’agenda des réformes de l’armement parce que ces réformes sont plus difficilement comparables les unes aux autres, et problème lié, parce qu’il est plus difficile de savoir de quoi elles sont faites.

Voici, toutefois, un texte qui me semble faire exception, en « cumulant » au moyen d’une comparaison intersectorielle :

agenda-setting-boswell-rodrigues

Enfin, plaisante surprise, en cherchant les dernières publications de Nikoalos Zahariadis, qui a beaucoup, beaucoup publié sur la modélisation « quali » de l’agenda-setting dans la lignée du modèle par « flux multiples » de John Kingdon, je suis tombé sur ce handbook qui établit un joli état de l’art, à la fois « quali » et « quanti », de la question :

agenda-setting-nz

  1. Il y a des dizaines d’exemples d’excellentes études de cas utilisant les modèles de la mise sur agenda, mais j’ai tellement aimé ce que j’ai commencé à lire du bouquin de Bastien Irondelle (malheureusement décédé très jeune) que je profite de ce billet pour en faire la publicité. []

Mon exemple favori d’erreur écologique

Ce billet traînait depuis plus d’un an et demi dans les brouillons du blog : le texte date de mai 2015. Je le publie sans retouches, mais vous aurez bien noté que le « peu de temps » dont je parle au début renvoie à cette période, c’est-à-dire aux premiers mois ayant suivi l’attentat contre Charlie-Hebdo.

Il y a peu de temps, Nonna Mayer et Vincent Tiberj ont pris le temps de fournir quelques résultats sérieux sur la sociologie des participants à la « marche républicaine » qui a suivi les attentats de janvier. Leur tribune répond au dernier ouvrage d’Emmanuel Todd, qui s’est basé sur différentes corrélations géographiques pour affirmer que les participants de la « marche » étaient… autant le laisser s’expliquer :

À la suite des travaux de Durkheim sur le suicide, ou de ceux de Max Weber, mon but, c’est de faire comprendre aux gens les valeurs profondes qui les font agir et qui ne sont généralement pas celles qu’ils imaginent. Quand on observe la carte des manifestations, la première chose qui frappe, c’est ce que l’Insee appelle avec élégance la prédominance des « cadres et professions intellectuelles supérieures ». C’est elle qui permet de comprendre l’importance qu’elles ont prise à Paris, Toulouse, Grenoble, etc.

Cette « chose qui frappe » s’enseigne d’ailleurs depuis des décennies en première année de sciences sociales : la participation politique (conventionnelle, comme le vote, ou pas, comme la manifestation) est inégalement distribuée en fonction, notamment, du plus haut niveau de diplôme obtenu. Mais c’est la suite du raisonnement qui contient le ressort argumentaire principal de Todd. Accrochez-vous :

L’autre variable qui, pour moi, d’une certaine manière, est encore plus importante encore, c’est la surmobilisation des vieilles terres issues du catholicisme. Là, il faut que je rappelle ma théorie des deux France, un modèle avec lequel je fonctionne depuis longtemps déjà. D’un côté nous avons la vieille France laïque et républicaine – le Bassin parisien, la façade méditerranéenne, etc. –, la France qui a fait la Révolution en somme. De l’autre, il y a la France périphérique : l’Ouest, une partie du Massif central, la région Rhône-Alpes, la Lorraine, la Franche-Comté. Ce sont les régions qui ont résisté à la Révolution et dans lesquelles l’imprégnation catholique est restée très forte jusqu’au lendemain de la Seconde Guerre mondiale. […]

Eh bien, ce qui a inspiré ma méfiance immédiate, c’est que le 11 janvier, la mobilisation a été du simple au double entre la France de tradition athée et révolutionnaire et cette France périphérique, historiquement antirépublicaine. Ce sont les régions les moins républicaines par le passé qui ont le plus manifesté pour la laïcité, avouez qu’il y a là quelque chose d’étrange. En somme, les bastions ex-catholiques sont les endroits où on a le plus milité pour le droit au blasphème. Si on compare Marseille et Lyon, on voit même que l’intensité des manifestations est du simple au double. Qu’on ne vienne pas me dire dans ces conditions qu’il s’agit de la même laïcité que celle d’hier !1

Nonna Mayer et Vincent Tiberj rappellent ce qui doit inspirer une « méfiance immédiate » dans ce type de raisonnement, en faisant référence à William S. Robinson et à l’inférence écologique, que j’adore illustrer (pour enseigner le paradoxe de Simpson) avec cette slide, qui est d’ailleurs précédée d’un rappel de l’exemple historique de Robinson, qui concernait l’illettrisme2 :

ei

La propension à la mobilisation au niveau régional

Bon, soyons charitable avec Todd. Supposons qu’il ait raison, et qu’une fois le niveau de diplôme pris en compte, la propension à se mobiliser « pour la laïcité » et « pour le droit au blasphème » le 11 janvier soit différente d’une région à l’autre, en rapport à l’héritage catholique régional. Après tout, la réponse que lui font Nonna Mayer et Vincent Tiberj ne dit rien de la géographie des participants.

En revanche, pour que cette différence soit autre chose qu’un artefact, il faut qu’à niveau de diplôme égal et en dehors du contexte du 11 janvier, les habitants des différentes régions françaises aient la même propension à la mobilisation, sinon le lien avec la laïcité se retrouve pris dans un ensemble d’explications possibles au différentiel de mobilisation qu’observe Todd, sans distinction possible sinon de manière subjective.

On va donc prendre les données de l’European Social Survey (ESS) et regarder ça de plus près pour les années 2010 et 2012 (les années précédentes n’utilisent pas les mêmes regroupements géographiques, ce qui rendrait l’analyse plus longue qu’une pause-café). L’une des questions posées dans l’ESS (variable pbldmn) devrait faire l’affaire :

Il existe différents moyens pour essayer d’améliorer les choses en France ou pour empêcher que les choses n’aillent mal. Au cours des 12 derniers mois, avez‐vous fait l’une des choses suivantes ? … Avez‐vous pris part à une manifestation autorisée ?

On va vérifier, en langage Todd où les régions parlent d’elles-mêmes, que les différentes régions françaises répondent « oui » dans la même proportion à cette question. Voici la carte des « réponses régionales », en pourcentage des enquêtés et en tenant compte du schéma de pondération qui fait toute la qualité de l’enquête :

ess_pbldmn_1000_500

Comme on pouvait s’y attendre, la propension à manifester varie dans l’espace et dans le temps, selon des régularités qui ne s’observent pas au niveau régional : les cartes ne montrent pas les erreurs standard, qui sont conséquentes (certaines régions ne sont « représentées » que par quelques dizaines d’enquêtés), et ne disent rien du profil socio-démographique des résidents, qui varie (aléatoirement) d’une vague de l’enquête à l’autre.

On pourrait s’amuser à aller plus loin, mais pour quoi faire ? Les données ESS ne révèlent qu’une seule chose de manière stable, qui correspond à ce qu’expliquent Nonna Mayer et Vincent Tiberj à partir de données différentes : la propension à la mobilisation est nettement plus faible à droite, et plus nettement forte chez les diplômés (je ne montre pas les coefficients, mais vous pouvez faire tourner le modèle chez vous).

Pour détecter un effet géographique du style de ce que décrit Todd, il n’y a que deux manières de s’y prendre. La première consiste à réunir des données aussi granulaires que possible, de les faire passer dans un modèle multi-niveaux, et d’en tirer des conclusions prudentes sur tel ou tel prédicteur. La seconde consiste à avoir une théorie et beaucoup, beaucoup d’assurance.

  1. La dernière phrase est sublime, n’est-ce pas ? C’est extrait d’un entretien au Nouvel Obs du 30 avril 2015. Le journaliste lui sert d’ailleurs complètement la soupe. Je n’ose pas citer le site Internet sur lequel j’ai récupéré l’extrait. []
  2. Les états américains où l’illettrisme était le plus fort était ceux où il y avait le moins d’immigrés, alors que le fait d’être né à l’étranger est un prédicteur individuel de l’illettrisme. Le paradoxe du vote des riches et des pauvres aux États-Unis est un autre exemple. []

Qualifier et quantifier l’activité parlementaire : demandez le programme

En octobre dernier, vous avez pu lire sur ce blog l’appel à communications de la Section Thématique 38 du Congrès AFSP 2017, « Qualifier et quantifier l’activité parlementaire : données, méthodes et pratiques« .

La sélections des communications qui seront présentées dans la section est à présent terminée, et le programme de la section est désormais disponible sur le site Internet (temporaire) de la section :

st38-prog

Le programme est en anglais car la section aura lieu en anglais, histoire de permettre aux non-francophones de se sentir un peu plus à l’aise sous le soleil montpelliérain.

La sélection et ses suites

Le programme, élaboré avec Olivier Rozenberg, est résolument international, avec des papiers de plusieurs pays francophones mais aussi d’ailleurs. La sélection a été difficile : nous avons reçu 25 propositions d’un peu partout dans le monde1, et parmi elles, beaucoup étaient assez, voire très, pertinentes.

Remarque : trop peu de femmes

Mon seul vrai regret concernant les propositions que nous avons reçues : sur les 44 auteurs listés, on ne trouve que 5 femmes, et qu’une seule femme parmi les papiers retenus2. C’est peu, et probablement en-deçà de la présence des femmes dans les milieux scientifiques qui ont reçu notre appel à communications—du moins souhaitons-le !

Au niveau de l’âge, nous avons reçu un bon mélange de « juniors » et de « seniors » ; mais au niveau du sexe, notre créneau thématique (les études parlementaires) me semble terriblement masculin… Peut-être est-ce aussi la conséquence de la coloration « méthodologique », voire « quantitativiste », de notre thème de section.

Je ne citais pas directement la « ST 38 » dans ce billet, mais vous aurez fait le rapprochement.

À noter également : la « ST 37 »

Pour celles et ceux qui seront à Montpellier, notez également l’existence de la Section Thématique 37, « Dans l’ombre de la loi. Travail au parlement et vie politique », organisée par Sébastien Michon et Étienne Ollion.

See you in Montpellier!

  1. Plus exactement, nous avons reçu des propositions de chercheurs établis dans 13 pays différents, en excluant une proposition totalement hors-sujet (la seule) en provenance des Philippines. []
  2. Toujours si l’on exclut la seule proposition complètement hors-sujet, qui nous a été envoyée par deux jeunes étudiantes. La différence de proportion est non significative, mais cela reste regrettable. []