Polls, surveys and the known unknowns of the French presidential election

Un dernier billet en anglais, et je ne dirai plus rien sur l’élection présidentielle de cette année. Je ne pense même pas faire de “post-mortem” du premier tour, vu que mes prédictions n’ont rien d’exceptionnel (loin de là) et que les réponses les plus intéressantes viendront après les résultats – et l’étude des reports de voix – des législatives.

If you have read any of my two previous blog posts on the respective electoral prospects of Marine Le Pen and Emmanuel Macron in the upcoming French presidential election, you might have noticed that I did not use either polling or survey data to produce my predictions, relying entirely instead on past elections.

This is because I hold strong views about both opinion polls and electoral survey data when it comes to France. I detail these views below, as some kind of a methodological appendix to my previous posts.

Note that my electoral predictions are nothing but semi-educated guesses, and that my methodological views are just the same: I have no scientific credentials in the fields of electoral studies, opinion polling or survey methodology.

Like the previous ones, this post is written in English because it is addressed to friends who do not read French, but who keep asking about the French presidential election and the risk that it might turn into a local equivalent of the Brexit “Leave” vote or Donald J. Trump’s election to the U.S. presidency.

Update, 24-25 March: added a section on non-random polls, including a link to (and several citations of) the UK 2015 “polling miss” report, as well asa link to the French Polls Committee.

French opinion polls

As in any other wealthy representative democracy, opinion polls provide a large share of the electoral horse race spectacle. And just like anywhere else, these opinion polls have sometimes been awfully wrong, even though their average historical record is, by and large, broadly accurate (more on that later).

There are lots of reasons why one might be skeptical of opinion polls in general, and French opinion polls in particular. The classical Bourdieusian critique applies here, and French political scientist Alain Garrigou has done lots to popularise it: polls are partly performative, insofar as they frequently ask questions that respondents had not thought about before. In the context of a two-round election, this particularly applies to hypothetical “second-round” voting scenarios.1

Another problem, which is perhaps more prevalent in French opinion polling than elsewhere, has to do with sampling. In recent years, the issue of whether opt-in Internet sampling creates representative samples has attracted a lot of discussion, but an older and, in my view, more problematic issue, has to do with quota sampling, another non-probabilistic method that is widely used by French polling institutes, principally because it is much less expensive than proper random sampling.

The main problem with quota sampling is that it creates a layer of opacity around the precise re-weighting methods used to make the poll as representative as possible of the target population – an operation called “redressement” in the jargon of French polling institutes, which develop their own “in-house” methods for doing so, and then sit on it like some kind of industrial secret.2

This is a huge issue: even when quota sampling seems to be able to “emulate” simple random sampling, we have no idea how that happens. To me, this issue makes the defence of quota sampling hopeless, perhaps even more than the trivial observation that the standard error of a quota sample has no formal relationship to sample size, which makes the presentation of error margins in quota-based polling results highly misleading to the public.3

Troubles with non-random polls

Allow me to elaborate for a few paragraphs on the point made above.

The idea of “emulating” simple random sampling is, at its core, fundamentally flawed. Nature cannot be fooled: pseudo-randomness is non-randomness. Even simple random samples will contain nonrandom (missing data) components, which are hard enough to deal with. Adding non-randomness “at the root” of the sampling procedure is just madness in the present context.

And yet this is something that polling companies seem to be okay with, and not just in France: just next door, the British polling market seems to be configured exactly the same way, and even though they have less things to predict over there since the party system contains less (national) elements, they also, from time to time, get it completely wrong, precisely because their samples are non-random.

Here’s the conclusion of the committee that worked on the serious polling miss that occurred in the UK before the 2015 general election:

… the primary cause of the polling miss in 2015 was unrepresentative samples… The statistical adjustment procedures applied to the raw data did not mitigate this basic problem to any notable degree. The other putative causes can have made, at most, only a small contribution to the total error. (p. 4, emphasis in original)

And a few pages down in the same document:

… all GB pollsters in 2015 took a common approach to sampling and estimation: they assembled a quota sample of eligible individuals, which was then weighted to known population totals. They asked sample members their vote intention and likelihood of voting, derived a predicted sub-sample of voters, and produced weighted estimates of vote intention for this sub-sample. (p. 22).

And then the report goes on to explain how the BES and BSA surveys are fundamentally different, because they use simple random sampling, ad because “both surveys produced good post-election estimates of the difference in vote shares between the Conservatives and Labour” (p. 27; important word here: “post” means that the surveys were run after the election, so considerations about turnout and voting uncertainty did not apply).

Issues with non-random quota samples are discussed in detail in the Francophone Wikipedia entry for opinion polls. The entry has multiple issues to do with its sources and the balance of its sections, but it otherwise makes a good read on the topic of why opinion polling is a problematic source of information, especially when it comes to voting behaviour. And if you need an example of a recent opinion poll to illustrate how black-boxed polling methodology is, here’s one.4

What can electoral polls be used for?

The flaws outlined above do not mean that opinion polls cannot produce either interesting forecasts or useful information. Measures of voting uncertainty, for instance, can be accurately measured through polls, although their generalisation to the electorate is still a very risky exercise absent of detailed information on the composition and re-weighting/redressement of poll samples. Still, compared to past elections, it seems that voting uncertainty is currently very high, especially on the left.

Another interesting use of opinion polls for electoral purposes consists in aggregating as many polls as possible, re-weight their results according to what we know of their past performance and overall reliability, and then use these results to forecast electoral results. This style of electoral forecasting has been popularised by Nate Silver‘s forecasts of U.S. elections, some of which were highly accurate, some of which were far off the mark.5

There is currently one attempt to build a Silver-style, “polls-only” forecast of the French 2017 presidential election, which came to my knowledge thanks to a tweet by François Massot. The forecast is produced by Victor Poughon and published on the “Depuis 1958” (“Since 1958”) website. The current result of the forecast, which is based on transparent polling data, unambiguously predicts that Emmanuel Macron will win the election:6

The unequivocal result of the 2017 forecast is, to me, less interesting than the “retrofit” of the model to previous elections. The Bayesian methodology of the forecast shows the model fit to the 2012 presidential election, with the difference between the actual (red) and predicted (black) results:

I also find this kind of exercise interesting because it produces a rough estimate of how much of the vote might go to the first-tier (20%+ vote shares), second-tier (10-20% vote shares) and third-tier candidates (5% or less vote shares). In 2012, these shares respectively represented around 55%, 38% and 7% of the first-round vote. For 2017, the model predicts 44%/44%/12% vote shares, which is consistent with estimates of higher voting uncertainty:

Final observations: note how wide the credible intervals reflected in the predicted vote shares shown above are. Also note that the model does not say anything about turnout, which might be lower this year. Last, note that the model cannot inform us about who is voting for whom, i.e., about voter realignments (which can also differ between presidential and legislative elections). For all these reasons, we need other forms of electoral data to supplement what polls might provide.

French electoral surveys

Especially perhaps in a multi-party system, highly detailed and sophisticated electoral surveys are much, much more important than polls to get the data generating process – i.e. what makes people cast a vote, and for whom – right. Do we have (access to) such surveys in France?

The answer is: kind of. Here are, for instance, some results from the most recent CEVIPOF/Ipsos/Steria electoral survey, the Enquête Électorale Française 2017, which also show high rates of voting uncertainty, especially when it comes to the left-wing candidates:

What credit might we lend to that survey? There is, in fact, no way to tell, except for CEVIPOF or Ipsos/Steria insiders. The survey data are not public, and the kind of sketchy technical explanations provided in the media hint that even for the official partners of the survey, French newspaper Le Monde and the Jean-Jaurès Foundation, the exact methodology that produced the data is a black box.

Lack of transparency from private polling institutes is one thing; but partly-publicly funded research is different, or at least, in my view, should be. The conclusions that insiders are drawing from the Enquête Électorale Française 2017 are highly valuable, but they do not allow outsiders to learn anything from the survey data itself, or to reuse the data in different ways. In short, French electoral data, just like many other forms of data, suffer from serious availability and cumulativity issue.

Further problems with survey data

There are several other problems with “flat microdata” (repeated cross-sections), which make up most of polling and electoral survey data.

First, to answer some questions, we need proper longitudinal (panel) data, that is, data that are produced by asking repeated questions to the same respondents at different points in time. Second, for many other questions, we need relational (network) data, of the kind produced by family-wide sampling (when the entire household is sampled). Last, in the many cases (including voting) where geography matters, we often need spatial (geolocated) data.

A few years ago, my co-blogger Joël called for the launch of a longitudinal French National Election Study, suggesting that the survey should allow multilevel analysis—that is, a form of analysis that can observe and control for the existence of hierarchical (e.g. local/regional/national) patterns:

Such a survey exists in the United States. France has no equivalent survey; the French national statistics agency does not seem to be interested in running one; and the European Social Survey, which has many of the required qualities that such a survey would call for, can only imperfectly fit the bill. Last, the French Ministry of the Interior cannot produce such a survey, out of fear of being accused to produce a partisan survey.

As a result of the many different limitations outlined above, there is no data source to turn to when one wants to analyse voting intentions in France. Sure, there are polls and electoral surveys, but neither of them are currently transparent enough to allow for independent reanalysis. Instead, what we have in France is a small club of (French) election specialists, working on disparate data sources that only very imperfectly cumulate.

Things might be getting better: France has a data repository, the Réseau Quételet, which lets researchers access some of the existing electoral studies produced under the supervision of various research teams. Note, however, that the current “French Election Studies,” a by-product of the Comparative Study of Electoral Systems (CSES), are limited to presidential-election years, and are available only for 2007 and 2012, even though they seem to have been running for longer than that.

Further reading

This blog has many posts about opinion polls, some of which focus on (older) French presidential elections: see here, here and here.

For a fuller assessment of French survey data, take a look at the appendix in Vincent Tiberj’s last book on cohort and generational effects among French citizens. The book itself is absolutely excellent, and the appendix provides a useful list of surveys – many of them cross-national – that contain data on French social and political attitudes7

  1. And outside of electoral periods, one might argue that polls co-produce the presidential approval ratings that they claim to measure. Notwithstanding, I do not agree with Garrigou that prohibiting electoral polls is the way to go. []
  2. Furthermore, there is no French equivalent of either the ICPSR or the Pew Research Center, which means that there is no repository of polling data to turn to in order to inspect raw survey data. As a consequence, the entire system of French opinion polls is effectively black-boxed. []
  3. The committee in charge of regulating polls has stated that polls should come with an empirical “margin of uncertainty” rather than a theoretical one, which actually makes things worse, since “empirical” can mean pretty much anything here. []
  4. The linked example characteristically provides none of the methodological explanations that should come with any polling result: how were the samples collected, how was nonresponse addressed, what the denominators are for population/electorate estimates, etc. []
  5. For another example of aggregated-polls-based forecasting, see Chris Hanretty’s forecast of the Italian 2013 general election. []
  6. Note that the 2017 forecast goes beyond the first round of the election, and actually attempts to predict second-round results. Also note that Macron has always been high in the approval-rating polls, which likely played a role in his candidacy. In past elections, Alain Poher and Édouard Balladur also ran for the French presidency (in 1969 and 1995 respectively) with similarly high approval ratings in the polls. Both lost. []
  7. Namely: EB, EVS, ESS, EES, CEVIPOF and TriÉlec 2012 surveys, CNCDH Racism Barometer, Insee Participation Survey, Ined TeO survey, and the 1967 French National Election Survey by Philip E. Converse and Roy Pierce. One might consider adding the ISSP and the Insee EDP (census extract) to the list. []

Trump, post-mortem

Voici la suite du billet publié il y a quelques jours.

Mon propos sera, comme toujours, un peu décousu, mais là c’est encore pire : j’ai plein de copies en retard, je n’ai même pas encore fini de digérer le Brexit (et de lire les excellentes chroniques et interventions de Mark Elliott), et voilà qu’il faut déjà changer de sujet et aller lire le résumé des résultats par Brendan Nyhan et par des dizaines d’autres observateurs avisés.

Prélude : c’est un cauchemar

Commençons par un dessin tiré du Canard enchaîné de cette semaine, la réalité dépassant toujours la fiction et la satire :


C’est un cauchemar. Il faut vraiment avoir d’excellentes défenses psychologiques naturelles pour considérer que ce qui s’est produit il y a quelques jours n’est qu’un « glitch » de la démocratie représentative. Ci-dessous, le futur président des États-Unis d’Amérique, dont la deuxième phrase officielle était déjà un mensonge.


En revanche, cette élection n’est pas tant un cauchemar que ça pour la science politique, et pour la modélisation électorale en particulier : comme je l’explique ci-dessous, les « fondamentaux » ont bien voire très bien tenu sur ce cycle électoral, ce qui n’empêche pas le résultat d’être cataclysmique et, de par ce fait, inattendu et traumatique.

Ce billet aborde les thèmes suivants :

  1. Un plantage spectaculaire de nombreuses tentatives de modélisation du vote, …
  2. alors même que les « fondamentaux » socio-démographiques n’ont pas changé.
  3. Retour sur les causes : l’investiture, toujours l’investiture !
  4. Retour sur les causes, bis : la candidature Clinton
  5. Et un aperçu des conséquences : ma lecture du marc de café « Trump »…
  6. Enfin, un dernier mot sur la science politique dans tout ça

Mais avant ça, quelques préludes supplémentaires.

Rappel des résultats

Aux dernières nouvelles, Donald Trump a remporté 47,3% du vote populaire, soit 60,2 millions de suffrages, et 30 États. Hillary Clinton a quant à elle remporté 47,8% du vote populaire, soit 60,8 millions de suffrages, et un tiers d’États en moins, façon Bush’00.

Ce n’est pas une demi-victoire pour Trump, qui a remporté tout ce qu’il fallait de swing states pour être très confortablement élu. À l’inverse, Hillary Clinton perd 10 millions de voix par rapport à Obama’08—ce qui l’élimine totalement du jeu politique actuel et futur.

Bye Hillary1.

Les résultats sont également sans appel dans les chambres parlementaires, qui n’étaient que partiellement remises au vote : la Chambre des Représentants (carte de gauche) est « rouge » (républicaine) comme aux grands jours2, le Sénat n’a bougé que de +2 sièges pour les démocrates (carte de droite).


Et pour terminer sur les résultats, voici les marges de victoire 2016/2012 à 25% ou plus, avec la fameuse « Rust Belt » qui aurait fait l’élection. En réalité, la hausse du Parti républicain dans l’Est a été beaucoup plus large que ça :


Dernières notes

À noter : il y a déjà d’excellents sondages sortie-des-urnes (exit polls) sur les sites Internet des grands journaux, mais il est risqué de commencer à lire leurs résultats sans d’abord jeter un coup d’oeil aux proportions de chaque groupe socio-démographique dans l’électorat.

Du coup, je ne ferai pas référence aux exit polls dans la suite de ce billet, même si l’on peut quand même faire remarquer les choses suivantes :

  • En rapport au vote de 2012, Hillary Clinton a perdu des points sur quasiment tous les segments de l’électorat, y compris sur des clientèles ultra-captives comme les Noirs3.
  • Toujours en rapport au vote de 2012, Donald Trump fait très, très fort sur les moins riches et les moins diplômés, avec des pourcentages du vote bien au-delà de son pourcentage total du vote populaire.
  • La progression du vote démocrate chez les femmes est quasi-nulle, et je ne sais pas quoi penser des groupes confessionnels, ne connaissant rien à leur distribution initiale.

De même, l’électorat américain est aujourd’hui hyper-polarisé en comparaison de ce qu’il fut par le passé, et même si je n’y fait pas allusion ci-dessous, cette observation est un filigrane constant de mes observations.

Dernière chose : je ne parlerai pas du « rôle-des-médias-dans-l’élection » parce que je n’y connais rien, mais allez lire cet article si vous êtes curieux du sujet.

1. Six modèles de projection électorale dans l’erreur

À l’occasion de l’élection, et dans la lignée du modèle de Nate Silver qui avait parfaitement prédit les résultats de l’élection de 2012 (législatives comprises), plusieurs journaux et groupes de recherche avaient développé des modélisations du vote :


Ces modélisations se sont plantées de quelques points de pourcentage du vote populaire, ce qui, dans une élection indirecte qui se joue à quelques fragments de points de pourcentage, représente un plantage total d’un point de vue probabiliste4. Ce résumé du plantage par Andrew Gelman montre bien à quel point le vote Trump a été sous-estimé partout, et dans les États « rouges » en particulier :


Voilà d’ailleurs pourquoi il est rationnel de voter, même lorsque la probabilité d’être un électeur-pivot est, fort heureusement d’ailleurs, proche de zéro—mais non nulle !

Pourquoi les données de l’industrie sondagière ont-elles pointé si loin de la réalité ? Les explications possibles sont nombreuses et complexes à vérifier5. J’en rappellerai une seule : le pourcentage de non-votants est tel aux États-Unis que seul environ un Américain sur cinq quatre a effectivement voté pour Trump6.

En attendant, l’existence même de ces projections et de leurs résultats erronés vont avoir des effets sociaux très importants : l’idée qu’il existe un « électorat caché », la fiction d’une « majorité silencieuse » invisible aux yeux d’un establishment qui ne voit « le peuple » qu’à travers des « statistiques », va faire long feu.

C’est évidemment gênant, car les conséquences de cette binarisation radicale de la société sous la forme d’une vision de « nous contre eux » a des conséquences sociales et politiques, et aussi, bien sûr, parce que cette vision est plus radicale que la réalité.

Tournons-nous, en effet, vers les modélisations produites en dehors des médias, et dans les revues scientifiques.

2. Du côté des fondamentaux, pas de plantage magistral

À chaque élection présidentielle américaine, la revue PS: Political Science & Politics, éditée par l’American Political Science Association (APSA), publie les prédictions des modèles de la science politique américaine. Les articles décrivant ces prédictions sont en accès gratuit pour au moins quelques mois.

Voici ce que les politistes américains avaient prédit, plusieurs mois avant l’élection :



Voilà qui devrait rassurer ceux qui s’inquiètent pour la santé mentale des professionnels des « out-of-sample predictions » : les modèles basés sur les fondamentaux, plutôt que sur l’industrie sondagière, se sortent plutôt bien de cette élection. Le « Primary Model » de Northop, par exemple, était catégorique sur la victoire de Trump ; lisez ci-dessous :


3. Causes et contrefactuels : l’investiture über alles

J’ai déjà évoqué les causes du vote Trump : les causes psychologiques, de type « angry white males« , à base de ressentiment racial, mais aussi les variables institutionnelles, la première d’entre elles étant liée aux mécanismes d’investiture du Parti républicain.

Il ne fait, en effet, pas grand sens, à mon avis, de penser au contrefactuel suivant (très présent dans la presse, britannique notamment) : est-ce que Bernie (Sanders) aurait gagné contre Donald (Trump) ?

La performance de Sanders aux primaires démocrates est certainement un bon « prédicteur rétrospectif » de la faible mobilisation électorale (relative) pour Hillary Clinton, qui a « sous-performé » sur beaucoup de segments démographiques habituellement acquis en masse à son parti.

Toutefois, une candidature Sanders aurait aussi certainement mobilisé d’autres adversaires, et démobilisé d’autres segments de l’électorat. À mes yeux, ce contrefactuel est donc tout simplement trop compliqué pour être valable. En revanche, les contrefactuels suivants sont faciles à imaginer, et à mes yeux, pertinents :

Imaginez un instant que l’élection américaine se déroule un dimanche, avec deux fois plus de bureaux de vote.

Imaginez un instant que les États-Unis n’incarcèrent pas 5% de la population afro-américaine masculine, jeune et non diplômée.

Imaginez un instant que les États-Unis aient une population diplômée du supérieur 1.5 fois plus large que l’actuelle.

Imaginez enfin, un instant, que le salaire horaire minimum ait doublé depuis 1992, sous Clinton, quand Robert Reich recommandait qu’il atteigne $15.

Ces contrefactuels requièrent de modifier, à coups de scalpel mental, des variables structurelles du processus électoral et politique américain, avec des conséquences importantes sur la structure de l’électorat. Mais paradoxalement, ces importants changements me semblent plus heuristiques que de remplacer Clinton par Sanders, ou d’imaginer l’élection « si seuls les jeunes avaient voté », par exemple.

Le même Robert Reich que cité ci-dessus est aujourd’hui très remonté contre le Parti démocrate. Son jugement est sans appel : quand on abandonne la classe ouvrière, on finit par déliter l’intégralité du contrat social et par être abandonné par l’électorat, ouvrier ou non, des sociétés post-industrielles.

À mon avis, il y a peu à retirer ou même à nuancer dans les propos de Reich, et beaucoup, malheureusement, à apprendre, tellement ces vérités simples semblent étrangères aux « logiciels » partisans des partis de gauche et centre-gauche contemporains, à de rares exceptions près.

Je tiens, néanmoins, à en revenir, encore une fois, à un seul et simple contrefactuel, qui reste la cause proximale la plus importante de l’élection :

Imaginez que Trump n’ait pas été investi par le Parti républicain.

On peut l’affirmer avec certitude : si Trump avait concouru en indépendant, même le plus faible candidat républicain aurait fait un très bon score, comme en attestent les résultats des républicains dans les chambres parlementaires, et il n’aurait pas été élu. Le hold-up partisan réussi de Trump reste la cause fondamentale à garder à l’esprit, et sa victoire électorale fut, en réalité, double : Trump a éliminé à la fois Jeb Bush et Hillary Clinton.

4. La candidature d’Hillary Clinton

Partons de l’idée, donc, qu’on peut lire le résultat de l’élection sous la forme non pas d’un réalignement partisan (au contraire, le vote Trump’16 corrèle très bien au vote Romney’12), mais d’un très bon score pour Trump et d’un très mauvais score pour Clinton. Cette carte7 montre où se trouvent les plus gros gains de voix pour Trump, superposés à la plus large catégorie d’électeurs, à l’échelle du comté :


Si l’on accepte la corrélation écologique ci-dessus, la défaite de Clinton est très clairement une défaite auprès de l’électorat blanc non-diplômé, sur lequel Trump a beaucoup misé8. Les mises en récit de sa défaite alignent d’autres déterminants, mais je serais très étonné que ce facteur ne reste pas la cause première de son échec dans les analyses plus poussées qui feront surface dans les prochains mois et années.

Notons pour terminer que tout n’est pas « Trump v. Clinton » dans cette élection : les Républicains font de très bons scores dans les deux chambres, et contrôlent aussi tout un tas d’États fédérés. Le résultat est spectaculaire—voici la carte des gouvernements monochromes sur trois niveaux (Congrès, Sénat et gouvernorat) :


Autrement dit, les Démocrates ont un pays à reconquérir. La suite dans deux ans, au moment des prochaines midterms.

5. Conséquences et prédictions : la marge de manoeuvre de Trump

Terminons sur le nouveau (futur) président des États-Unis. Grosse fatigue…

L’anecdote sur le propos mensonger de Trump à la sortie de son entretien avec Obama (le mensonge porte sur la durée prévue de la rencontre) n’est qu’une anecdote, mais on peut la généraliser : Trump a, en effet, déjà montré à maintes reprises qu’il ne craignait pas de raconter n’importe quoi, et de changer d’avis en fonction des circonstances9.

Mentir et changer d’avis sont deux choses différentes : on peut mentir avec constance. En ce qui concerne Trump, le problème se situe plutôt dans la variation imprévisible de ses propos (et peut-être, dans quelques semaines, des décisions) que dans leur véracité. Peut-on imaginer un président de la trempe de Trump concevoir les accords d’Oslo ?

On en est réduit à espérer – mais avec quelle probabilité ? — qu’un magnat de l’immobilier fera au moins aussi bien, et espérons même mieux – mais même question ici – que les présidents précédents… Et personne n’aime avoir à faire ce genre de calcul hautement incertain. Surtout pas le secrétaire général de l’OTAN, par exemple.

Le problème est un problème de credible commitment, comme on dit en théorie des jeux : l’absence de toute expérience historique empêche d’anticiper ce dont quoi Trump est capable, aussi bien en positif (faire signer un accord de paix) qu’en négatif (créer un différend diplomatique avec un chef d’État étranger, par exemple)10.

En pratique, Trump va désormais disposer d’une véritable machine de guerre bureaucratique et judiciaire (son administration) pour mettre en pratique ses désirs. Certes, c’est effrayant, mais cela se passe loin de chez moi, et le Congrès comme les circuits judiciaires fédéraux y trouveront certainement à redire11. En revanche, par son simple verbe, Trump a la possibilité de foutre en l’air nombre de relations diplomatiques sur lesquelles le Congrès n’a aucune prise (et n’en désire aucune).

N’oublions pas enfin que Trump a évidemment aussi la faculté, de par son seul verbe, de se « racheter » en quelque sorte. C’est le sens du dernier paragraphe d’un communiqué de presse acerbe de Harry Reid, qui remarque à juste titre que c’est à Trump de réparer ce qu’il a lui-même commencé à détruire en stigmatisant de larges fractions du peuple américain. Ce serait juste, et stratégiquement très intelligent—mais je peine encore à utiliser ce qualificatif en évoquant ce goujat populiste à l’haleine mentholée.

6. Et la science politique là-dedans ?

Pour terminer, j’ai déjà évoqué le « public service announcement » des politistes américains au sujet de Trump. Ses déclarations font froid dans le dos : déportations civiles en masse, menaces sur le pouvoir judiciaire… typiquement le genre de rhétorique que l’on s’attend plus à trouver chez Erdogan en Turquie ou Orban en Hongrie qu’à Washington, d’où l’inquiétude.

Après tout, on parle bien du candidat qui a déclaré que la torture fonctionne, et que les méthodes actuelles ne vont pas assez loin.

Mais passés les inquiétudes sur le candidat Trump et le choc du résultat électoral de novembre 2016, qu’est-ce que la science politique doit envisager pour continuer son patient travail de déconstruction des phénomènes politiques ?

Vu les résultats des « fondamentaux » mentionnés plus haut, je suis assez peu séduit par l’idée que Trump aurait fait donné tort à toutes les lois de la discipline. Au contraire, le ressentiment racial que j’évoque dans mon précédent billet est au coeur de nombreuses recherches contemporaines12.

En revanche, je suis très sensible à l’idée que la science politique peut faire beaucoup mieux, en dialoguant avec plus d’interlocuteurs qu’elle n’en a actuellement. À titre d’illustration, j’ai beaucoup aimé le contenu de ce dialogue entre Arthur Goldhammer et son fils. Goldhammer n’est pas tout à fait politiste, mais l’idée y est.

  1. J’avoue l’avoir toujours trouvé un peu robotique, mais bon, j’aimais bien Jospin aussi… []
  2. Les résultats finaux ne sont pas encore arrêtés, mais l’on s’achemine vers du +7 sièges pour le Parti démocrate, sur des proportions qui sont celles des vingt dernières années, où, à l’exception de la période 2007-2011, le Congrès a été confortablement républicain. []
  3. En réalité, Clinton se contente, si l’on peut dire, de perdre la marge « en surplus » obtenue par Obama, et revient sur un vote Noir qui rappelle l’élection de Bush’00. La situation est plus compliquée chez les Hispaniques. []
  4. On peut reprocher à Nate Silver de vouloir sauver les meubles quand il dit que son modèle a été très volatile dans ses prédictions des dernières semaines. En réalité, c’est une très bonne explication ; et quand Silver avait aligné 100% de prédictions, il avait bien précisé que c’était un coup de chance, et qu’un résultat marginalement incorrect n’aurait pas discrédité l’intégralité du modèle. []
  5. La question s’était déjà posée l’an dernier en Grande-Bretagne, à l’occasion de l’élection générale, et il faudra attendre une explication équivalente à celle qui avait été produite en Grande-Bretagne, ce qui ne peut pas prendre moins de plusieurs mois. []
  6. Pourquoi tant de non-votants ? On peut citer énormément de facteurs structurels : par exemple, l’élection n’a pas lieu un jour chômé, une fraction importante du pays est… en prison, et certaines files d’attente aux bureaux de vote alignent des milliers de personnes. Voir la section 3 de ce billet pour quelques contrefactuels utilisant ces facteurs. []
  7. J’ai partagé cette carte sur Twitter dans l’espoir d’obtenir les données brutes, mais un journaliste-cartographe du New York Times m’a répondu que les données brutes ne seraient a priori pas disponibles. Tant pis. []
  8. Cet électorat a diminué en taille, mais reste la plus grosse masse critique électorale des USA en 2016. Or, comme le pointe très justement Alec Tyson, en 1992, elle vote pour Bill Clinton ; en 2016, elle vote autant pour chacun des candidats. []
  9. L’adjectif « versatile » est ici un faux-ami intéressant à considérer dans ses acceptions anglo-saxonne et française… []
  10. Ce problème est critique, et la procédure d’impeachment prévoit d’ailleurs qu’un président qui mentirait face à un tribunal puisse être relevé de ses fonctions ; c’est un peu plus compliqué que ça en pratique, comme le montre l’acquittement de Bill Clinton par le Sénat en 1998, mais reste qu’historiquement, un président qui ment « à la barre » se retrouve démis de ses fonctions de monarque temporaire du système politique américain. []
  11. Les prochaines midterms sont dans deux ans. Une partie du Congrès va devoir se positionner sur Trump. Chez les Démocrates, la partie est déjà jouée, mais chez les Républicains, ça risque d’être vraiment très sport, en fonction de ce qui va se passer dans les deux années à venir… []
  12. Merci à Tommaso pour le lien vers cet ouvrage. []

Un cadeau offert à la science politique, ou : mangeons du pain wébérien

Ce billet est écrit en pensant au très bon blog de Denis Colombi et aux personnes citées dans le texte du billet. Il s’agit d’une longue et verbeuse discussion d’une photo et d’un commentaire découvert un lundi matin dans mon fil Facebook, arrivé là par quelques amis engagés :

Screen Shot 2016-02-01 at 09.30.21

Mise à jour, quelques minutes après publication de ce billet : voici l’article initial du Journal Du Dimanche. Mentionnons bien que le graphique posté ci-dessus y est titré : “Des préjugés tenaces”, ce qui mériterait certainement d’infléchir certains passages du texte ci-dessous, que je préfère préserver en l’état.

Remarquons aussi que le “sondage” a été réalisé pour le compte de la Fondation du Judaïsme Français, ce qui le rend encore plus sociologiquement parlant du point de vue de la mise en compétition, espérons-le involontaire mais effective, des haines, le sondage devenant classement des groupes sociaux des “plus” au “moins” discriminés, avec tout ce que la sociologie des classements sait dire de ces objets, des réifications qu’ils “performent” (au sens sociologique du terme), et des frontières invisibles qu’ils font naître là où la stratégie inverse de la République indivisible me semblerait recommandable.

Brève digression

Si vous ne connaissez pas Sylvain Bourmeau, il s’agit de l’animateur de l’excellente émission “La suite dans les idées” sur France Culture.

De ce que je crois savoir sans me donner la peine de le vérifier, Sylvain Bourmeau est par ailleurs docteur en science politique, comme semble d’ailleurs en témoigner, selon moi, son choix d’invités, dans lequel le politiste peut lire, dans un fin filigrane, ses attaches intellectuelles1.

S’il fallait recommander un seul épisode récent, je recommanderais celui avec James C. Scott, mais abonnez-vous au podcast, tant qu’à y être.

Comme l’indique le titre de cette section, ce billet ne porte toutefois pas du tout sur Sylvain Bourmeau. Cette digression est une forme de salutation polie et appuyée à son excellent travail d’intermédiaire entre le champ universitaire et le champ médiatique. Ces “passeurs de sciences” sont peu nombreux, alors saluons-les quand on peut.

Enseigner Weber

Comme l’indique le titre de ce billet, ce “sondage d’opinion” est un magnifique cadeau offert par le JDD et par l’institut qui l’a produit (Ipsos, apparemment) à la science politique, et en particulier aux enseignants de première année chargés des cours d’introduction à la science politique.

Lorsque vient le temps d’enseigner Max Weber, Le savant et le politique, c’est-à-dire en général tout au début d’un cursus de science politique, il est toujours utile de disposer d’un exemple probant et actuel de différenciation entre le comportement du savant et le comportement du citoyen engagé dans la Cité, afin de pouvoir illustrer correctement la partie de l’ouvrage portant sur “le métier et la vocation de savant”2.

Au premier semestre, une étudiante de première année m’a rappelé l’importance cruciale de cette section du cours. Au cours d’une brève discussion en travaux dirigés, je me souviens juste d’elle poser cette question :

Mais Monsieur, la guerre, c’est toujours mal, non ?

Je lui ai répondu comme n’importe quel enseignant de sciences sociales le ferait face à un propos normatif dans un contexte pédagogique qui cherche à faire émerger une pratique du raisonnement scientifique : on peut avoir un point de vue sur la guerre, mais ce point est un jugement de valeur ; j’ai d’ailleurs moi-même un point de vue sur la question, mais que je ne partage pas en cours, car c’est tout l’enseignement de Weber—ce serait, au sens intellectuel, un mélange des genres.

Voici les trois “genres”3 auxquels je pense, sous forme de commentaires de taille inégale et numérotés, bien qu’il n’existe aucune hiérarchie entre eux, et que dans la réalité, ces “genres” ne se séparent jamais complètement : pour reprendre les idées de Weber, c’est un travail intellectuel que de les séparer, et un engagement professionnel que de s’y vouer.

1. Une lecture citoyenne

La lecture citoyenne de ce sondage va différer selon les individus, et ceux, qui toujours plus nombreux, qui croient que la France est un pays “d’immigration massive” assailli par les ennemis extérieurs comme intérieurs, vont très bien se retrouver dans le diagramme en barres du JDD.

De ce point de vue, le commentaire de Sylvain Bourmeau est on ne peut plus juste : l’extrême-droite française se trouve, à l’heure actuelle, dans une dynamique “gagnant-gagnant”, qui lui permet, comme beaucoup d’autres partis politiques populistes en Europe, à la fois de façonner l’air du temps et d’enregistrer de très bons succès électoraux.

On peut (et, selon moi, on doit) se désoler, comme je le fais régulièrement avec mes amis, de cette dynamique, par ailleurs beaucoup mieux expliquée qu’ici par mon estimé (et je oserais-même le dire, de plus en plus célèbre) co-blogueur Joël aux pages 42-43 de ce magazine, et dans le reste de ses travaux et interventions — coucou Joël, et toujours heureux de te lire et de te savoir lu :)

On peut, et l’on doit, surtout, je pense, chercher les moyens d’endiguer cette dynamique, quelle que soit le nom qu’on lui donne : personnalité autoritaire, “anti-mai 68”, “lepénisation des esprits”, populisme, ou proto-fascisme pour les plus catégoriques.

Personnellement, j’estime, comme Joël, que le scrutin à deux tours va nous sauver de “Marine présidente”, mais que cela ne règle pas le problème de fond de la crise de la représentation : pour me centrer sur la portion du champ politique qui “me parle”, à l’heure actuelle, la trahison des clercs de gauche me semble totale, au point que même un électeur socialiste “naturel” dans mon style, biberonné au jospinisme, ne se déplace plus aux urnes4.

À quoi participe, selon le petit citoyen engagé au fond de moi, la publication de ce “sondage” (et j’expliquerai bientôt les guillemets autour de ce mot) ? À produire, je dirais, l’équivalent français de la Hongrie de Viktor Orbán : une machinerie médiatique et politique de la haine de soi, ce qui a déjà de graves conséquences, et qui en aura d’autres que l’imagination d’un pacifique citoyen du monde d’aujourd’hui ne peut même pas produire.

Toujours de mon point de vue, je ne pense pas que tout cela se finira dans un bain de sang révolutionnaire ou contre-révolutionnaire : j’ai plutôt confiance dans l’Histoire pour injecter à nouveau, dans quelques années et de manière comme toujours provisoire, une bonne dose d’anesthésiant dans la partie reptilienne du cerveau collectif qui produit la stigmatisation des musulmans, des Roms et des autres. C’est le faux optimiste en moi qui parle ici.

Bref, malgré le JDD et autres stigmates du quotidien, je “souhaite”, si l’on peut dire, à mes amis musulmans et d’origine rom5 la même “trajectoire” historique que celles de mes amis homosexuels : après de longues et douloureuses années d’humiliation, enfin, une forme de libération par l’endiguement de la haine, libération jamais vraiment acquise, mais il me semble, heureusement bien avancée en ce qui concerne l’homosexualité—qui oserait aujourd’hui remplacer “origine maghrébine” par “homosexuelles” dans ce “sondage”, écrivons-le pour terminer ce commentaire, infect, produit et publié par les idiots utiles d’une impasse intellectuelle qui ne peut qu’évoquer de terribles souvenirs ?

Toutefois, comme l’illustre le travail de Joël et un blog comme celui de Christophe Bouillaud, l’un de mes anciens enseignants, les commentaires ci-dessus et les commentaires indignés que je lis sur Facebook ne doivent pas faire obstacle à la seule “bonne nouvelle” contenue dans ce sondage.

2. Une (très brève esquisse de) lecture professionnelle

La lecture professionnelle de ce sondage est la première qui m’est venue à l’esprit : quel cadeau nous fait-là l’actualité ! Un objet sociologique aussi parlant que cette production sondagio-médiatique, quelle illustration fantastique de Bourdieu, de Weber ! Les enseignants de science politique ont dû au moins esquisser un sourire.

En effet, le marché qui produit ces biens de consommation que l’on appelle les “sondages d’opinion” est ici parfaitement représenté, de même que sa conséquence première : la fabrique de l’opinion, un phénomène qu’il faut apprendre à objectiver dans l’espace et dans le temps—le travail d’une profession, celle de politiste, ou de sociologue/historien du politique, ces distinctions n’ayant à mes yeux aucune importance fondamentale, au moins au niveau de réflexion où je souhaite situer ce commentaire.

Bref, pour aller beaucoup plus vite que dans mon premier commentaire, j’ai sauvegardé la capture d’écran qui ouvre ce billet dans mon dossier “L1 – TD – Intro. sc. po.”, pour tester l’enseignement de cet exemple l’année prochaine. En attendant, un dernier commentaire.

3. Quelques compléments

Ce troisième et dernier commentaire est une sorte de produit des deux premiers. Il s’agit réfléchir scientifiquement, à la fois comme professionnel de la science et comme citoyen engagé, à l’objet-sondage, et il me semble qu’il y a deux dimensions à prendre en compte :

  1. Commençons par la méthodologie pure, pourrait-on dire : d’un point de vue, ce “sondage” a-t-il la moindre valeur scientifique ?

    D’un point de vue quantitatif et statistique, probablement pas, l’industrie française des sondages n’étant pas en mesure6 de produire des enquêtes d’opinion, échantillonnées et modélisées plutôt que bricolées par quotas et redressements7.

    En revanche, d’un point de vue qualitatif, la valeur scientifique de ce sondage est évidente : pour des raisons sociologiques, politiques et historiques qui sous-tendent mon second commentaire, il est beaucoup plus socialement acceptable, aujourd’hui en France, de dénigrer les origines maghrébines que la confession juive ou les origines asiatiques.

  2. Terminons à présent sur une question de fond : faut-il tout de même essayer de produire des résultats robustes sur les confessions et les origines des individus, agresseurs comme agressés, pour reprendre le ton du “sondage” ici commenté ? L’enquête WVS ne tente-t-elle pas de mesurer la haine des voisins, et l’enquête ESS ne contient-elle pas des questions sur les discriminations subies dans les douze derniers mois ?

    La question me semble se poser car certain(e)s, du peu de que j’observe autour de moi dans le champ scientifique, persistent à défendre une science qualitative dédaigneuse des chiffres, à l’opposé d’ailleurs des figures tutélaires auxquelles elles et ils se réfèrent (je parle, évidemment, de Pierre Bourdieu). J’ai toutefois espoir dans cette sociologie de la quantification, qui a aujourd’hui le vent en poupe grâce, s’il ne fallait citer qu’un nom français, à l’héritage intellectuel d’Alain Desrosières, dont le point de vue me manque8.

    Le débat est complexe, et je change régulièrement d’opinion au sujet des statistiques ethniques et des autres dimensions de ce débat. Mais la plupart du temps, je penche nettement en faveur d’outils comme l’enquête TeO en ce qui concerne la mesure des “origines”, et pense généralement que l’on tirerait profit d’une activité scientifique de qualité – à l’heure actuelle marginale, mais les choses évoluent – sur ces questions, plutôt que de laisser le champ libre aux prêcheurs et prédicateurs.

Brève conclusion

Les lecteurs attentifs qui liront ce billet jusqu’à ces lignes jugeront peut-être que je travestis quelque peu la pensée de Weber dans ce billet, en séparant non pas la science et la politique, mais les métiers de savant et de politique, ce qui ne signifie pas la même chose, et qui n’a pas les mêmes conséquences pédagogiques.

Du point de vue du texte, le vrai fond du propos wébérien me semble bien être de distinguer des carrières, et pas des individus ou des pensées. C’est pourquoi je n’aime pas les sous-titres d’enseignements du type “science, politique et science politique”. En pratique, les étudiants sont déjà tous intuitivement de l’existence d’une distinction entre science et politique, ne serait-ce que par “pré-cognition” de la coexistence de différentes cités de justification, et pensent reconnaître cette distinction chez Weber, alors que le propos est plus fin.

D’un point de vue pédagogique, l’essentiel me semble en effet de trouver une manière de dire aux étudiants : soyez à la fois savants et politiques, portez ces deux “chapeaux” en conscience de cause, et considérez ces “chapeaux”, ces “casquettes”, comme des attributs culturels, intellectuels, éducatifs, et en définitive, professionnels, quelle que soit l’intitulé desdites professions (saluons ici une dernière fois le travail radiophonique de Sylvain Bourmeau, parmi d’autres).

Ma conclusion sera donc : toutes et tous que nous sommes, mangeons du pain wébérien. Regrettons ce que trahit, ce que traduit, ce que produit ce sondage, mais félicitons-nous qu’il existe des disciplines scientifiques dédiées à comprendre de tels objets, des journalistes disposés à diffuser cette compréhension, et servons-nous de ces objets pour changer le monde, car il sera toujours temps, comme l’écrit également Joël dans les dernières lignes de l’interview pré-citée, d’enrayer les cercles vicieux du présent et de se prémunir contre toutes les formes de violence inutiles.

Je profite de ce long texte pour souhaiter à tous les clients du Polit’bistro suffisamment patients pour lire ce dernier paragraphe une bonne année 2016, année qui a commencé de manière atypique de mon côté, ce qui explique peut-être la nature encore plus décousue et désordonnée du raisonnement et de l’écriture de ce billet, qui contient vraiment trop de guillemets, quelques passages certainement un peu trop personnels, et même un point Godwin.

  1. S’il fallait brièvement les qualifier, je parierais sur un penchant certain pour la socio-histoire et pour une partie bien spécifique de la science politique internationale. []
  2. La seule biographie de Weber ne constituant pas, à mon avis, une illustration suffisante pour les étudiants. Une autre illustration que je souhaite mentionner ici : cette très belle tribune de Virginie Guiraudon sur la déchéance de nationalité. []
  3. Le terme ne me convient pas, d’où les guillemets, faute de mieux. []
  4. Ma nouvelle parade lorsqu’on me reproche cette apathie est de dire que je suis un single-issue voter du droit de vote aux étrangers. Cette idée m’a été inspirée (mais pas suggérée) par un ami, Simon, qui se reconnaîtra s’il lit ces lignes. []
  5. D’ailleurs, qui a des amis rom ? En ai-je vraiment ? Le sais-je vraiment ? J’ai au moins un prénom en tête, un copain roumain de Pigalle, qui ne lira pas ce texte et ne se reconnaîtra donc pas, et pour être honnête, je ne sais pas s’il a du “sang rom”. Me poser cette simple question me révulse, et l’anti-autoritarisme primaire de mon copain me suffit amplement comme “réponse”. Salut à toi, Alex. []
  6. C’est un effet d’offre et de demande : personne, dans la clientèle des sondages, ne souhaitant lire de résultats robustes, il n’y a pas d’équivalent français de YouGov, et donc pas de Nate Silver français non plus. Au lieu ça, on a surtout des lecteurs de feuilles de thé, pour rester gentil. Le mode de scrutin me semble jouer un rôle important dans cette configuration des choses, mais c’est une autre histoire. []
  7. Un ami spécialiste vient d’ailleurs tout juste de poster sur Facebook : “Je viens de voir le sondage JDD-IPSOS. Les auteurs déclarent avoir travaillé avec des chercheurs du CNRS et de l’EHESS, on aimerai[t] bien savoir lesquels parce que c’est un tissu d’erreurs méthodologiques de l’échantillonnage à la formulation des questions”. []
  8. Personnellement, j’oserais même dire que le bonhomme me manque aussi. Je ne l’ai croisé que quelques fois, en séminaire et une fois dans un parc public parisien à côté de la Cité universitaire, d’où me reste ce souvenir d’une séance d’escrime improvisée avec une très jeune fille. Cet étalage de vie privée et de sentiments est peut-être excessif, et j’espère sincèrement que personne ne m’en voudra. En fait, je voulais juste écrire qu’Alain Desrosières me manque, et que j’ai toujours au moins l’un de ses textes à portée de main, au bureau comme à la maison. []

Mais… mais que faire maintenant que les sondages… ? (… et mes prévisions sur Barack Obama)

Avant d’aller voter (ou pas), vous pouvez désormais vous reposer, ou bien bouquiner un peu :

On Sunday 22th April and Sunday 6th May 2012 the French people will be going to the polls to vote for the next president of the Fifth Republic of France.

Routledge has put together the following collection of journal articles on a selection of key themes, considering the main election issues, presidential candidates and the broader political impact of these elections.

Please click on the titles below to gain access to the article.

Ce billet signe la fin provisoire de ma micro-vendetta sur le sujet, mais je sais déjà qu’elle recommencera bientôt.

Les paragraphes suivants sont tirés d’un brouillon rédigé à l’issue des primaires socialistes. Je ne publierai pas les deux pages en entier, mais juste cet extrait, qui contient mes prévisions électorales de pré-campagne :

Comme je suis (au mieux) inexistant en sociologie électorale, je peux même lâcher des pronostics hasardeux et auto-référentiels sans m’en vouloir : PS 25% + DVG 20%, UMP 20% + DVD 20%, FN 15%. Je suis incapable de chiffrer précisément les électorats, mais je ne conçois pas l’écologie pacifiste de combat à moins de 7.5% et le candidat centriste historique qui file des gifles aux gamins des rues à moins du double, vers 15%. Je ne sais pas si cette caricature est compatible avec ce que l’on sait sur les alignements partisans sous la Cinquième République, mais il y a des électoralistes sérieux, dans ma paroisse et ailleurs, qui planchent dessus.

Concrètement, la droite me semble avoir deux options en dehors de la capitulation : fonder un parti de centre-droit à l’image des coalitions nordiques ou allemande, ou assumer une droite plurielle avec l’extrême-droite à l’image du bilan présidentiel actuel. Je ne vote pas à droite, mais je pense préférer Merkel à Guéant. Ça n’a pas l’air d’être la stratégie poursuivie à droite. Peut-être le réservoir de voix du parti est-il plus conséquent que je ne me l’imagine.

J’étais au café à Roubaix quand j’ai rédigé ces lignes, alors que les médias commentaient la sanction électorale des militants socialistes : Thierry Mariani n’était pas content, et Nicolas Baverez hurlait en gesticulant autant que les micros-cravattes le permettent, mais je crois qu’il fait tout le temps ça de toute manière. La présentateur a vite enchaîné avec Jack Lang et la grève des enseignants, puis François Chérèque et la gestion du service public. Cet enchaînement me fait réaliser que la dernière fois que les socialistes étaient au pouvoir, il y avait un million de chômeurs en moins.

Bon courage à François Hollande, que je prévois premier aux deux tours avec un score de premier tour légèrement plus bas que celui que j’envisageais à l’époque. Il faut aussi supprimer mon espoir dans Eva Joly, dont les intentions de vote ont été phagocytées par la campagne de Jean-Luc Mélenchon. L’équipe de Nicolas Sarkozy lui a presque rendu hommage en essayant de le rendre plus important que son score prévisionnel, dans une sorte d’aveu que “Mélenchon 2012” aura été l’équivalent de “Sarkozy 2007” en termes de popularité médiatique.

Je maintiens les estimations en l’état, la campagne n’ayant rien modifié de fondamental à mes yeux : il n’y a tout simplement pas assez d’électeurs sarkozystes pour réélire le président sortant. Dans le scenario accidentel d’une victoire de Nicolas Sarkozy, qui partait de plus bas que Valéry Giscard d’Estaing dans les enquêtes de confiance, un scénario de cohabitation à la Marleix est assez crédible, mais ce serait un désaveu cinglant de la réforme du quinquennat. Je ne pense pas que mes estimations seront fausses sur ce point : je pense plutôt me planter sur les voix divers-droite, suite à l’absence (certes prévisible) de concurrence intra-partisane.

Rendez-vous entre les deux tours pour une estimation des réalignements centre-droite, qui peuvent, à mon sens, rendre l’élection présidentielle unique sous la Cinquième République si le centre finit par ne pas voter à droite quand on lui demande d’élire le prochain président. Ce scenario est plus probable que par le passé. On va voir si mes prévisions tiennent la route, mais le lecteur souhaitera peut-être me juger sur plus d’une prévision : je prévois aussi que Barack Obama perdra la prochaine élection présidentielle américaine.

Comment ne rien comprendre aux marges d’incertitude du vote des jeunes

Dans la série “sondages”, cette intéressante correspondance que publie Le Monde dans ses pages intérieures, après avoir titré aussi gros que possible sur le vote d’extrême-droite chez les jeunes il y a quelques jours :

(source : Vincent Glad, tweeteur influent ; via Éric Dupin, journaliste)

Joël a déjà évoqué le sujet, et ici encore, l’erreur porte sur la méthodologie de l’enquête. Un échantillon d’environ 200 personnes est en effet tout à fait suffisant pour estimer une proportion comme celle du vote des jeunes si l’échantillon est normalement distribué. Le problème vient, encore et toujours, de la composition de l’échantillon, pas de sa taille.

… Mais bon, la messe étant dite, à quoi bon pinailler sur les sources des évangiles :

Méthodes d’enquête : Fondapol vs. Fondamentaux

Très brièvement, je profite de cette vidéo affligeante qui pourrait s’intituler “devenir politologue en une leçon”, pour recommander cet ouvrage d’introduction à la méthodologie de l’enquête, autrement plus sérieux (via).

J’avais prévu un commentaire beaucoup plus cinglant sur la vidéo citée, mais je ne sais même pas par où commencer devant l’ampleur de la catastrophe. Il y a clairement des cours de méthodes (sinon plus) qui se perdent.

Disclaimer : les auteurs de l’ouvrage enseignent à l’Institut d’Études Politiques de Grenoble, où j’ai suivi ma propre formation auprès de plusieurs d’entre eux.

Les médias américains misent tous sur les blogs universitaires

Ou plus exactement, sur les blogueurs universitaires. Bloomberg y voit la cause principale d’amélioration du reporting entre les années “Hillarycare” (début des années 1990) et les années “Obamacare” (fin des années 2000), pour faire référence à deux réformes du système de santé américain1.

Cette observation n’est pas difficile à valider2. Je suis d’assez près les politiques de santé aux États-Unis, et l’apport des blogs universitaires est indéniable, qu’ils soient hébergés par les médias eux-mêmes ou qu’ils tournent indépendamment sur des plateformes ouvertes à tous. S’il ne fallait en citer qu’un, je citerais The Monkey Cage, mais les archives de Polit’bistro sont assez fournies sur le sujet des blogs universitaires, notamment américains.

Je passe à présent en mode “Lettres persanes” pour railler à peu de frais la situation en France :

  • Voici le blog “sondages d’opinion sur la présidentielle” du New York Times.
  • Voici le blog “sondages d’opinion sur la présidentielle” du Monde.

Qu’on se comprenne bien : les deux journalistes du Monde font leur travail, et Nate Silver fait le sien. Nate Silver est juste beaucoup mieux équipé pour faire le tri entre le grain et l’ivraie, pas les journalistes du Monde, qui publient parfois des énormités, et qui ne publient aucune analyse approfondie3.

Encore une fois, je ne donne pas de leçon aux journalistes du Monde : je pense simplement qu’ils n’ont pas l’outillage théorique de Nate Silver, qui utilise Stata et qui cite l’erreur standard des sondages directement par son acronyme, RMSE — l’écart méthodologique pourrait difficilement être plus grand. De plus, je perçois très clairement que les attentes du Monde sont sensiblement inférieures à celles du New York Times : la comparaison n’est en fait plus possible à mon sens, et cela s’explique beaucoup moins par la formation des journalistes que les conditions de travail des rédactions, et en particulier des régies en ligne.

Reste enfin le passage où je m’auto-flagelle pour distribuer équitablement les torts : qui, dans le milieu académique français, irait tenir un blog “enquêtes d’opinion sur la présidentielle” pour le compte du Monde ? Les observateurs ne manquent pas, loin de là, mais ils sont paradoxalement presque plus nombreux à l’étranger qu’en France. Même les plateformes qui ont capté une bonne partie des universitaires, comme Mediapart, publient surtout des tribunes, et très peu d’analyse scientifique.

J’espère presque m’être planté à plusieurs endroits dans cet état de l’art, ça aura peut-être le mérite de faire réagir.

  1. Précision : les deux surnoms viennent du camp républicain, les deux réformes du camp démocrate. La première a échoué, la deuxième a réussi, sauf si la Cour suprême en décide autrement dans les heures qui viennent—stay tuned. []
  2. Qu’est-ce qu’on ne ferait pas pour employer la forme passive. D »ailleurs, est-ce bien la forme passive ? Bref, je suis d’accord avec Bloomberg. []
  3. Le résultat d’un sondage, ou même le commentaire d’un institut de sondage, n’est pas une analyse : c’est un discours rapporté, en chiffres et en lettres. L’analyse vient après le discours, quand on suit à la lettre ce que j’ai appris pour ma part en deuxième année d’études grâce à un journaliste de la PQR, qui se reconnaîtra peut-être s’il me lit. []

Sondages, un dernier témoignage accablant

On y reviendra toujours et encore, et encore encore

Le directeur de BVA explique la chose suivante sur un blog du Monde :

C’est quoi, une marge d’erreur statistique ? Nos sondages sont souvent réalisés avec un échantillon représentatif de 1 000 personnes. Si on extrapole à 40 millions d’électeurs, on doit considérer que le résultat donné l’est avec une marge d’erreur. Concrètement, si on accorde, par exemple, 25 % des intentions de vote à un candidat dans notre étude, il existe une marge d’erreur de 2,5 points : c’est-à-dire qu’on considère qu’il y a 95 % de chances qu’il obtienne, in fine, entre 22,5 % et 27,5 % des voix.

Cela ne veut pas dire que l’on fixe le résultat, dans cette fourchette, au hasard. Le résultat de 25 % est pour nous le plus probable. Pour l’obtenir, cela fonctionne comme une courbe de Gauss.

Ce dernier paragraphe, souligné par mes soins, renvoie directement à l’erreur soulignée dans un billet précédent au sujet de la méthode d’échantillonnage par quotas : l’utilisation de la “courbe de Gauss” requiert un échantillon de valeurs échantillonnées aléatoirement, sans aucune intervention sur la sélection probabiliste des observations ; ce qui n’est pas le cas d’une enquête par quotas, où l’échantillon est composé à l’image de la population en sélectionnant les individus sur ce critère.

Cette première erreur est extrêmement difficile à diagnostiquer et demande des dizaines d’années de pratiques des… Ah, tiens, non, en fait, c’est en première page de Google avec les mots-clés “méthode” et “quotas” :

Une deuxième erreur, plus amusante, consiste à identifier la tendance centrale de l’intervalle de confiance comme “la plus probable”. Ce raisonnement est complètement faux en statistiques fréquentistes, et resterait complètement faux en statistiques bayésiennes, parce qu’il est diamétralement opposé au concept même d’intervalle de confiance. Mais il faut apparemment comprendre que tout cela n’est pas juste faux, c’est aussi trop-compliqué-pour-les-médias-sans-même-parler-des-vrais-gens :

La question, derrière cela, est de savoir s’il faudrait présenter à chaque fois les résultats comme une fourchette. Je ne pense pas. Ce serait pénible pour nos partenaires de la presse écrite, mais encore plus pour nos partenaires de l’audiovisuel… Ce serait très lourd. Mais il faut, dans nos commentaires, systématiquement préciser quand les écarts entre candidats sont dans la marge d’erreur. Ainsi, on peut dire que François Hollande est symboliquement devant Nicolas Sarkozy au premier tour dans ce sondage.

Tout est dans le “symboliquement”, car un sondage, en pratique, cela sert effectivement à relever ou assassiner symboliquement une cause, ou même juste à l’habiller. Sinon, c’est faux : repassez-vous les sondages des années 1980 sur le site de l’INA, et vous trouverez des vidéos d’Antenne 2 donnant des résultats avec des intervalles de confiance. Les graphiques étaient moins élégants à l’époque, mais l’information a pu être plus correcte qu’aujourd’hui.

Le marché des enquêtes d’opinion en France fait l’objet d’une régulation a minima qui interdit formellement la contrefaçon du produit : ce qui est sur l’étiquette doit être dans la soupe. Mais si l’on veut accorder une légitimité scientifique à ce produit, ce que fait le directeur de BVA en se réclamant de Gauss pour parler de ses propres estimations, alors il faut un mode de régulation plus contraignant pour rendre l’offre honnête.

J’en profite pour signaler qu’un doctorant de mon laboratoire a résumé les positions existant sur les sondages en France, de l’Opinion Gate à la reconnaissance “paisible” du fait que les sondages ne constituent qu’un “moyen d’expression politique parmi d’autres”. La science politique consistant à étudier la distribution des moyens d’expression politique, je serais toutefois d’avis d’être plus incisif sur le sujet. La question n’est pas celle des effets électoraux, car je pense pense que les sondages n’ont aucun effet tangible sur le vote à l’échelle d’une élection comme la présidentielle française. La question est celle des causes, ou plus exactement, de ce qui se joue dans le clientélisme négocié entre instituts, médias et partis politiques autour de la diffusion des sondages.

Pour toutes ces raisons, la science politique parle des sondages, mais en toute connaissance de cause et sans dissimuler leur absence de fondement scientifique. Le débat y porte clairement sur la nature de l’instrument, avec des positions très éloignées mais sans illusion aucune sur ce qu’il reste de scientifique à l’issue de la cuisine sondagière. Au milieu de tout ça, j’aurais tendance à choisir le camp de ceux qui pensent pouvoir exposer la pauvreté des sondages en modélisant plus sérieusement le vote, et en diffusant les résultats là où les sondages aboutissent à une vision déformée de la science politique.

Comment ne (toujours) rien comprendre aux sondages

Mise à jour : si les sondages vous laissent de marbre, essayez les modèles. Le dernier en date, très cohérent avec tout ce que l’on sait du vote, donne François Hollande à 51% au second tour sans réellement modéliser la prime du meilleur score au premier tour.

Comme l’a bien compris la blogosphère économiste, le moment est venu d’en remettre une couche. Ça tombe bien, Le Monde publie un texte de circonstance, par Albert Camus, qui s’exprime mieux par lui-même que par Michel Onfray :

En face de la marée montante de la bêtise, il est nécessaire également d’opposer quelques refus. Toutes les contraintes du monde ne feront pas qu’un esprit un peu propre accepte d’être malhonnête. Or, et pour peu qu’on connaisse le mécanisme des informations, il est facile de s’assurer de l’authenticité d’une nouvelle. C’est à cela qu’un journaliste libre doit donner toute son attention.

Les geeks auront remarqué que le site Internet du Monde vient de passer en HTML5, un standard toujours en cours de développement. Jolie performance ! Malheureusement, Le Monde et les médias en général ne sont pas toujours à la frange de l’innovation, et les sondages en sont la meilleure illustration.

Pour rappel, l’accord tacite entre les médias et les instituts de sondage sera bientôt à la retraite : il y a 64 ans, les médias américains faisaient découvrir à leur lectorat la course hippique avec des candidats à l’élection présidentielle, et même si tout le monde déplore le côté panem et circenses, tout le monde lit les sondages aujourd’hui, ne serait-ce que pour rappeler qu’ils construisent la réalité au moins autant qu’ils ne la capturent. L’argument bourdieusien était moins agressif que sa version actuelle, mais la connivence instituts-médias-politiques polarise les positions.

En France, on a en plus la chance d’avoir de fabuleux instituts de sondage qui échantillonnent et redressent de manière endogène, ce qui garantit qu’aucune contrainte scientifique ne viendra gâcher le spectacle. Parmi ces contraintes, la théorie des probabilités. Ce que l’on appelle “méthode par quotas”, et que les sondeurs eux-mêmes désignent comme une “recette de cuisine”, est en substance un affranchissement total du théorème central-limite ; vous êtes prévenus, mais vous regarderez quand même les courbes et lirez quand même les décimales flottantes.

Il est possible de modéliser sérieusement les données issues des sondages, sur le modèle de ce qui se fait aux États-Unis, mais aucun média ne joue actuellement ce jeu-là. Au lieu de ça, on lit des interviews affligeantes dans Le Monde ou dans Slate, qui a récemment redéfini le degré zéro de l’analyse journalistique appliquée aux pronostics électoraux. Je n’ai aucun grief personnel contre l’auteur ou contre Slate ; les deux publient certainement des feuillets de bonne facture en parallèle. Je suis plus inquiet pour les grandes rédactions qui dilapident le prestige de leurs titres, et pour la qualité du travail dans l’espace médiatique en général.

Si vous aimez la science-fiction de Moebius, alors vous êtes à peu près autant dans la réalité que si vous aimez les données des instituts de sondage et des quelques personnalités qui se prêtent au jeu de leur analyse. Et quand je vois une partie de l’humanité se réunir autour d’un cadavre, je pense très fort aux lecteurs de 20 Minutes dans le métro qui parcourent les baromètres “Plus/Moins” avec tout autant de naïveté.

Il me semble que voter pour la science passe aussi par un calibrage plus intelligent de la science des sondages, qui n’a presque aucune chance de s’exprimer dans le contexte que je décris ici à grands traits. Le duel Buisson-Garrigou n’a eu aucune conséquence positive sur ce contexte, ce qui est très dommage.

P.S. J’ai malencontreusement oublié de parler du frelatage de graphiques, en rapport avec les instituts de sondage qui prennent de moins en moins le soin de publier autre chose que des “slideshows” fabriqués sur des gabarits PowerPoint. Mais ce défaut dépasse leur sphère de responsabilité.

Comment ne rien comprendre aux sondages

Add. La commission des lois se penchera là-dessus aujourd’hui.

Add. Rajout du graphique ci-dessous pour préciser ce qui est entendu par intervalle de confiance plus bas. Il faut descendre à un niveau de confiance de 67% (en fait, à une déviation standard au lieu de deux) pour empêcher un chevauchement entre les trois candidats. Le standard le plus courant est à 95%, avec quelques variations de 90% à 99%.

Tout ceci s’appliquerait sur un échantillon probabiliste, que l’industrie sondagière française ne se donne jamais la peine de construire de toute manière. À partir de là, les résultats sont inévitablement pifométriques, ce qui donne toute la mesure du sérieux de l’exercice tel qu’il est pratiqué dans l’Hexagone. Je propose d’appeler le niveau de confiance des sondages électoraux français le niveau Lyon Sprague de Camp.

Harris Interactive 2011

Je suppose qu’aucun lecteur de ce blog n’a raté la polémique autour d’un récent « sondage d’opinion » :

  • qui suppose que les intentions de vote sont mesurables à une échéance suffisamment distante de l’élection pour que la population échantillonnée contienne à la fois de futurs abstentionnistes et de futurs électeurs, dans des proportions non mesurables ;
  • qui suppose que l’on peut jouer avec les items de réponse pour simuler des candidatures sans tenir compte des préférences qui seraient raisonnablement imputables aux électeurs précédemment évoqués comme supposés existants (two wrongs do not make one right) ;
  • qui suppose que l’erreur standard sur n = 1618 peut être conservée à 0.010 (±2%) par une formule magique qui établit donc un taux de réponse valide de 100% aux questions sans aucun biais supplémentaire, ce qui m’échappe complètement mais qui doit probablement s’appeler « miracle du redressement » dans les instituts commerciaux1 ;
  • qui suppose qu’on peut raisonnablement constituer un échantillon représentatif de la population des électeurs dans une population en ligne recrutée à partir d’incitations monétaires parfaitement à même d’introduire un biais d’auto-sélection impossible à pondérer ;
  • et qui appelle, pour terminer, des réactions qui se renvoient à peu près toutes dos à dos dans leur incompréhension de l’échantillonnage non randomisé sur Internet—à supposer qu’il s’agisse réellement d’une incompréhension, et pas de l’expression d’intérêts personnels.

Avant de commenter plus avant, est-ce que quelqu’un peut juste me mentionner une seule source sur ce débat qui ne tombe sous le coup d’une des erreurs relevées ci-dessus ? Je n’ai trouvé qu’un seul observateur entièrement raisonné sur ces questions.

Un graphe pour accompagner. Il ne faut pas tenir compte de l’ordre des points : une fois que l’on prend les intervalles de confiance, il n’y a plus aucune robustesse statistique derrière cet agencement régulier en apparence.

Immigration / France (ESS4)

Je rajoute ce graphique pour appuyer cet argument : l’idée fausse que la France est un pays d’immigration massive n’est pas réservée à l’extrême-droite. Aucun parti politique n’a de discours responsable sur cette question, et la majorité s’est faite piéger comme pas deux sur ce point.

De même, les réactions populistes à la crise financière et à la récession économique n’apparaissent pas qu’à l’extrême-droite. Les inégalités socioéconomiques structurelles disparaissent derrière des écrans de fumée électoralistes.

Quel que soit le score de l’extrême-droite dans un an, ses soubassements idéologiques sont solidement ancrés dans la représentation politique nationale : la sécurité, l’immigration et la fiscalité dominent, et les points aveugles de la décision publique restent en l’état.

Cela me semble une source d’inquiétude beaucoup plus générale que l’ordre des candidats au premier tour. Surtout qu’à mes yeux, le scrutin est joué : le président sortant n’a aucune chance. Même Valéry Giscard d’Estaing partait de plus haut2.

  1. On peut lire dans la presse que les sondeurs craignent le dévoilement imminent de leurs « secrets de fabrication » si le Sénat prend cette décision ; le terme « fabrication » convient tout à fait et mérite d’être souligné. Par ailleurs, l’argument selon lequel il n’y a pas d’intervalle de confiance possible pour un échantillon constitué par la médiocre méthode des quotas, c’est-à-dire en stratifiant puis en sélectionnant les enquêtés, ce qui rend la méthode non-probabiliste, est absurde : l’intervalle ne peut pas être inférieur à celui d’un échantillon stratifié, il existe donc au moins à ce niveau. On lit sous la même plume que la « marge d’erreur » (qui n’en est pas une, par ailleurs : le « 95% » d’un intervalle de confiance n’est pas une marge d’erreur de 5%) est « plus petite pour les petits chiffres », ce qui est amusant venant d’un professionnel, étant donné que cela fait reposer l’intervalle de confiance sur la donnée elle-même plutôt que sur sa distribution et sur la taille de l’échantillon, en plus du niveau de confiance. Bref, ils en fument de la bonne dans les instituts de sondage. []
  2. Argument emprunté à une discussion avec un électoraliste authentique. []