Comment ne (toujours) rien comprendre aux sondages

Mise à jour : si les sondages vous laissent de marbre, essayez les modèles. Le dernier en date, très cohérent avec tout ce que l’on sait du vote, donne François Hollande à 51% au second tour sans réellement modéliser la prime du meilleur score au premier tour.

Comme l’a bien compris la blogosphère économiste, le moment est venu d’en remettre une couche. Ça tombe bien, Le Monde publie un texte de circonstance, par Albert Camus, qui s’exprime mieux par lui-même que par Michel Onfray :

En face de la marée montante de la bêtise, il est nécessaire également d’opposer quelques refus. Toutes les contraintes du monde ne feront pas qu’un esprit un peu propre accepte d’être malhonnête. Or, et pour peu qu’on connaisse le mécanisme des informations, il est facile de s’assurer de l’authenticité d’une nouvelle. C’est à cela qu’un journaliste libre doit donner toute son attention.

Les geeks auront remarqué que le site Internet du Monde vient de passer en HTML5, un standard toujours en cours de développement. Jolie performance ! Malheureusement, Le Monde et les médias en général ne sont pas toujours à la frange de l’innovation, et les sondages en sont la meilleure illustration.

Pour rappel, l’accord tacite entre les médias et les instituts de sondage sera bientôt à la retraite : il y a 64 ans, les médias américains faisaient découvrir à leur lectorat la course hippique avec des candidats à l’élection présidentielle, et même si tout le monde déplore le côté panem et circenses, tout le monde lit les sondages aujourd’hui, ne serait-ce que pour rappeler qu’ils construisent la réalité au moins autant qu’ils ne la capturent. L’argument bourdieusien était moins agressif que sa version actuelle, mais la connivence instituts-médias-politiques polarise les positions.

En France, on a en plus la chance d’avoir de fabuleux instituts de sondage qui échantillonnent et redressent de manière endogène, ce qui garantit qu’aucune contrainte scientifique ne viendra gâcher le spectacle. Parmi ces contraintes, la théorie des probabilités. Ce que l’on appelle “méthode par quotas”, et que les sondeurs eux-mêmes désignent comme une “recette de cuisine”, est en substance un affranchissement total du théorème central-limite ; vous êtes prévenus, mais vous regarderez quand même les courbes et lirez quand même les décimales flottantes.

Il est possible de modéliser sérieusement les données issues des sondages, sur le modèle de ce qui se fait aux États-Unis, mais aucun média ne joue actuellement ce jeu-là. Au lieu de ça, on lit des interviews affligeantes dans Le Monde ou dans Slate, qui a récemment redéfini le degré zéro de l’analyse journalistique appliquée aux pronostics électoraux. Je n’ai aucun grief personnel contre l’auteur ou contre Slate ; les deux publient certainement des feuillets de bonne facture en parallèle. Je suis plus inquiet pour les grandes rédactions qui dilapident le prestige de leurs titres, et pour la qualité du travail dans l’espace médiatique en général.

Si vous aimez la science-fiction de Moebius, alors vous êtes à peu près autant dans la réalité que si vous aimez les données des instituts de sondage et des quelques personnalités qui se prêtent au jeu de leur analyse. Et quand je vois une partie de l’humanité se réunir autour d’un cadavre, je pense très fort aux lecteurs de 20 Minutes dans le métro qui parcourent les baromètres “Plus/Moins” avec tout autant de naïveté.

Il me semble que voter pour la science passe aussi par un calibrage plus intelligent de la science des sondages, qui n’a presque aucune chance de s’exprimer dans le contexte que je décris ici à grands traits. Le duel Buisson-Garrigou n’a eu aucune conséquence positive sur ce contexte, ce qui est très dommage.

P.S. J’ai malencontreusement oublié de parler du frelatage de graphiques, en rapport avec les instituts de sondage qui prennent de moins en moins le soin de publier autre chose que des “slideshows” fabriqués sur des gabarits PowerPoint. Mais ce défaut dépasse leur sphère de responsabilité.


8 réflexions au sujet de « Comment ne (toujours) rien comprendre aux sondages »

  1. La méthode des quotas ne s’affranchit pas du théorème central limite, elle n’est pas concernée par lui puisque l’échantillon n’est pas aléatoire. Empiriquement, la précision est meilleure parce que les quotas opèrent une stratification de la population.

    • C’est précisément parce que l’échantillon n’est pas aléatoire que la méthode ne peut pas se réclamer d’une marge d’erreur d’environ 3 points pour N ~ 1000, ou même d’une marge d’erreur tout court d’ailleurs. Il s’agit bien d’un affranchissement de l’erreur standard dans une distribution normale, même si les sondages par quotas se réclament quand même d’une précision à quelques points de pourcentage.

  2. J’ajoute la référence que je cherchais : Pascal Ardilly, Les techniques de sondage, éditions technip, 2006, p.200 : les sondages empiriques.

    • Les avis vont différer radicalement si votre source soutient la méthode des sondages par quotas. Une méthode non probabiliste comme l’opt-in peut s’en tirer honorablement ; ce n’est pas le cas des quotas. Mes références apparaissent dans une question sur Stack Exchange.

      Une distinction existe entre les méthodes par « opt-in », qui ne sont pas aléatoires mais qui parviennent à des résultats représentatifs post-stratification, et les méthodes par « quotas », qui sont le vilain petit canard de la littérature. Douglas Rivers explique cela dans des termes très prudents, en citant d’autres papiers de Mick Couper et al. sur le même thème.

      Lorsque l’on combine les limites des deux méthodes, comme dans le cas d’une enquête par quotas menée sur Internet, il faut simplement admettre que l’enquête n’a plus rien à voir avec un travail d’échantillonnage à proprement parle, ou alors calculer sérieusement des intervalles de confiance robustes en situation non paramétrique.

  3. Avec tout mon respect pour Philippe Cibois, je suis en désaccord complet. Sans aléa (sans théorème central limite), pas de sondage qui ait un sens. Si nos 600 répondants ou nos 1000 sondés représentent en quelque façon l’opinion générale, c’est grâce à leur sélection au hasard et indépendante.

    L’intérêt — éventuel — des quotas consiste uniquement à donner aux différents groupes sociaux les mêmes chances d’être dans l’échantillon, donc à rendre le sondage « plus aléatoire » (et non moins). Cela a été bien étudié et chiffré par Jean-Claude Deville et de nombreuses publications étrangères y font référence.

    Le fait que l’on tire les répondants dans les pages blanches, et non dans un registre central de population, ne change rien à l’affaire.

    Quand on fait du « CAWI », c’est-à-dire des sondages auprès de listes restreintes de volontaires enregistrés à l’avance et rémunérés, la validité du sondage continue à reposer sur l’hypothèse que, pour ce qui est de changer d’opinions dans le temps, ces volontaires se comportent exactement comme autant de citoyens tirés au hasard.

    En bref, les quotas ne suppriment en rien les marges d’erreur que l’on peut calculer classiquement (racine(p(1-p)/n, les fameux « 3 points sur 1000 personnes ») ; s’il y a des biais de sondage dus au caractère *insuffisamment aléatoire* de l’échantillon (à la forte hétérogénéité des probabilités d’être sondé), ils viennent s’ajouter à cette marge d’erreur aléatoire — et non pas la remplacer, encore moins la réduire.

    • L’analyse de Jean-Claude Deville va même un peu plus loin que ça. Sa simulation reproduit le résultat des papiers que je cite un peu plus haut : en l’absence de non-réponses, un estimateur ML a des propriétés désirables sur un échantillon par quotas, mais uniquement à des taux très faibles qui donnent une importance disproportionnée à la post-stratification.

      Si l’on rajoute à cela le fait que l’on travaille généralement, dans le cas des enquêtes électorales, sur des intentions de vote, il ne reste à peu près rien de valide dans la démarche, sauf à supposer que la population, l’échantillon et les “redresseurs” utilisent exactement le même comportement bayésien naïf.

      En bref, si la méthodologie des sondages ne change pas au cours du temps, on peut probablement arriver à faire converger les séries vers un résultat réel, mais au prix d’une modélisation supplémentaire. C’est le sens de mon commentaire sur le billet d’Arthur Charpentier.

    • Absolument d’accord sur ce dernier commentaire (François) et sur la conclusion. Plus précisément, sa conclusion est ce qui permet de « sauver » des pratiques comme l’access panel (CAWI) ou d’autres méthodes d’inférence à partir de données « très peu ou très indirectement aléatoires » — par exemple, je développe une approche pour analyser les représentations collectives à partir de ce qui est dit spontanément sur internet, et tout le monde ne s’exprime pas sur internet avec une probabilité égale, loin de là.

      J.-C. Deville (ce n’est pas clair dans le lien que je donnais, et c’est ma compréhension de ses travaux) a en fait proposé 2 théories des quotas « pour le prix d’une » : l’une montrant que les quotas réduisent la variance d’échantillon en homogénéisant les probabilités d’inclusion (équivalent d’une stratification) ; l’autre montrant que les quotas équivalent à un redressement après échantillonnage (équivalent donc d’une post-stratification) et permettent donc le type d’inférences que vous indiquez en conclusion.

      Les deux théories donnent les mêmes conclusions sur le gain de précision (au moins au 1er ordre, je ne me souviens plus si le 2ème ordre est calculé), et il est faible pour des variables de type « intentions de vote » (ou oui/non), comme vous l’indiquez.

      Donc une fois de plus, la validité de tout sondage repose sur l’aléa qui est dedans. Sans aléa, vous *pourriez tout à fait* avoir, par construction, 1000 sarkozystes ou 1000 hollandistes dans l’échantillon : il suffirait de faire votre enquête par quotas (respectés nickel) sur le fichier des adhérents UMP, ou sur celui du PS. La capacité du sondage à dire quelque chose de la société française vient fondamentalement du fait qu’on cherche les répondants non sur ce type de fichiers, mais sur des fichiers « de la société française », aussi peu biaisés par les préférences politiques, que possible.

    • Dans ce contexte, je pense que la seule amélioration possible se fera “par le haut” : il faudrait qu’un dispositif comme DIME-SHS crée un outil d’enquête beaucoup plus efficace que l’existant (et c’est en cours, je crois), pour que le marché des enquêtes subisse un choc qualitatif qui entraînerait un mouvement de défiance dans la clientèle des partis politiques. C’est peu probable, mais c’est plus probable qu’une amélioration “par le bas” où les instituts prendraient d’eux-mêmes l’initiative de rendre leurs produits moins rentables.

      Ce qui est vraiment lamentable dans cette histoire est moins l’usage déformé d’une technique statistique (après tout, cela arrive aussi aux méthodes qualitatives, tout le temps) que la confusion totale sur ce qu’est l’objet “vote”. La fiction que construisent les instituts de sondage n’a aucun style : si le vote est un acte individuel, la participation électorale devrait être beaucoup plus basse. Il faut styliser l’acte de vote en intégrant des préférences collectives pour expliquer sa première dimension.

Les commentaires sont fermés.