Comment ne rien comprendre aux sondages

Add. La commission des lois se penchera là-dessus aujourd’hui.

Add. Rajout du graphique ci-dessous pour préciser ce qui est entendu par intervalle de confiance plus bas. Il faut descendre à un niveau de confiance de 67% (en fait, à une déviation standard au lieu de deux) pour empêcher un chevauchement entre les trois candidats. Le standard le plus courant est à 95%, avec quelques variations de 90% à 99%.

Tout ceci s’appliquerait sur un échantillon probabiliste, que l’industrie sondagière française ne se donne jamais la peine de construire de toute manière. À partir de là, les résultats sont inévitablement pifométriques, ce qui donne toute la mesure du sérieux de l’exercice tel qu’il est pratiqué dans l’Hexagone. Je propose d’appeler le niveau de confiance des sondages électoraux français le niveau Lyon Sprague de Camp.

Harris Interactive 2011

Je suppose qu’aucun lecteur de ce blog n’a raté la polémique autour d’un récent « sondage d’opinion » :

  • qui suppose que les intentions de vote sont mesurables à une échéance suffisamment distante de l’élection pour que la population échantillonnée contienne à la fois de futurs abstentionnistes et de futurs électeurs, dans des proportions non mesurables ;
  • qui suppose que l’on peut jouer avec les items de réponse pour simuler des candidatures sans tenir compte des préférences qui seraient raisonnablement imputables aux électeurs précédemment évoqués comme supposés existants (two wrongs do not make one right) ;
  • qui suppose que l’erreur standard sur n = 1618 peut être conservée à 0.010 (±2%) par une formule magique qui établit donc un taux de réponse valide de 100% aux questions sans aucun biais supplémentaire, ce qui m’échappe complètement mais qui doit probablement s’appeler « miracle du redressement » dans les instituts commerciaux1 ;
  • qui suppose qu’on peut raisonnablement constituer un échantillon représentatif de la population des électeurs dans une population en ligne recrutée à partir d’incitations monétaires parfaitement à même d’introduire un biais d’auto-sélection impossible à pondérer ;
  • et qui appelle, pour terminer, des réactions qui se renvoient à peu près toutes dos à dos dans leur incompréhension de l’échantillonnage non randomisé sur Internet—à supposer qu’il s’agisse réellement d’une incompréhension, et pas de l’expression d’intérêts personnels.

Avant de commenter plus avant, est-ce que quelqu’un peut juste me mentionner une seule source sur ce débat qui ne tombe sous le coup d’une des erreurs relevées ci-dessus ? Je n’ai trouvé qu’un seul observateur entièrement raisonné sur ces questions.

Un graphe pour accompagner. Il ne faut pas tenir compte de l’ordre des points : une fois que l’on prend les intervalles de confiance, il n’y a plus aucune robustesse statistique derrière cet agencement régulier en apparence.

Immigration / France (ESS4)

Je rajoute ce graphique pour appuyer cet argument : l’idée fausse que la France est un pays d’immigration massive n’est pas réservée à l’extrême-droite. Aucun parti politique n’a de discours responsable sur cette question, et la majorité s’est faite piéger comme pas deux sur ce point.

De même, les réactions populistes à la crise financière et à la récession économique n’apparaissent pas qu’à l’extrême-droite. Les inégalités socioéconomiques structurelles disparaissent derrière des écrans de fumée électoralistes.

Quel que soit le score de l’extrême-droite dans un an, ses soubassements idéologiques sont solidement ancrés dans la représentation politique nationale : la sécurité, l’immigration et la fiscalité dominent, et les points aveugles de la décision publique restent en l’état.

Cela me semble une source d’inquiétude beaucoup plus générale que l’ordre des candidats au premier tour. Surtout qu’à mes yeux, le scrutin est joué : le président sortant n’a aucune chance. Même Valéry Giscard d’Estaing partait de plus haut2.

  1. On peut lire dans la presse que les sondeurs craignent le dévoilement imminent de leurs « secrets de fabrication » si le Sénat prend cette décision ; le terme « fabrication » convient tout à fait et mérite d’être souligné. Par ailleurs, l’argument selon lequel il n’y a pas d’intervalle de confiance possible pour un échantillon constitué par la médiocre méthode des quotas, c’est-à-dire en stratifiant puis en sélectionnant les enquêtés, ce qui rend la méthode non-probabiliste, est absurde : l’intervalle ne peut pas être inférieur à celui d’un échantillon stratifié, il existe donc au moins à ce niveau. On lit sous la même plume que la « marge d’erreur » (qui n’en est pas une, par ailleurs : le « 95% » d’un intervalle de confiance n’est pas une marge d’erreur de 5%) est « plus petite pour les petits chiffres », ce qui est amusant venant d’un professionnel, étant donné que cela fait reposer l’intervalle de confiance sur la donnée elle-même plutôt que sur sa distribution et sur la taille de l’échantillon, en plus du niveau de confiance. Bref, ils en fument de la bonne dans les instituts de sondage. []
  2. Argument emprunté à une discussion avec un électoraliste authentique. []

6 réflexions au sujet de « Comment ne rien comprendre aux sondages »

  1. Un petit conseil : ajoute les intervalles de confiances (matérialisés, par exemple, par une sorte de rectangle grisé) sur ton graphique, pour donner quelques repères (on verrait, si j’ai bien compris, que tous les points se trouvent placés dans le rectangle ainsi créé).

    • Tu as bien compris, et malheureusement Stata ne me laisse pas cette possibilité, à moins d’utiliser des graphiques « en colonnes » (bar graphs). Je vais voir si je peux produire ce graphique sans réécrire complètement mon code, mais j’en doute (car cela passerait par une opération de transformation des données, collapse).

  2. Vous avez raison de souligner toutes les incertitudes (pour ne pas dire plus) entourant le sondage incriminé, et de rappeler la très bonne mise au point d’E. Dupin, mais, personnellement, ce qui ne cesse de m’étonner, c’est le retentissement que ce sondage a eu, y compris dans la presse étrangère. Nous sommes ici presque dans la sociologie des légendes urbaines.

    En même temps, à trop tirer sur la corde du n’importe quoi ou presque, il semble bien que la proposition de loi sur les sondages avance du coup de nouveau dans les méandres parlementaires. Ce sondage aura donc fait œuvre utile si finalement une meilleure réglementation de ce secteur d’activité se met en place… avant 2012.

    • Je mets ça sur le compte d’un effet accidentel, lié à la saturation de l’agenda international. Un « événement » hexagonal a pu servir à remplir les colonnes intérieures en France, ou « Europe » à l’étranger, ce qui est toujours bienvenu. Les compte-rendus étrangers (ceux que j’ai lus en tout cas) se fondaient sur une présomption de « 21 avril 2012 » en préparation, ce qui permettait de rappeler les faits et de parler un peu du bilan de l’OPA amicale de la droite française sur l’extrême-droite depuis 2007.

      Inutile de préciser que tout le monde est tombé dans le panneau et a pris le sondage à la lettre. Je pense que c’est dû au fait que les journalistes étrangers considèrent que la France, grande démocratie post-industrielle, doit avoir une industrie sondagière compétente et honnête, fonctionnant par échantillonnage randomisé avec des données accessibles aux professionnels, comme cela se pratique aux États-Unis.

      Si seulement ils savaient à quel point la « méthodologie » de notre industrie est préhistorique ! On n’a pas décollé depuis Truman et Dewey en 1948 (un autre sondage par quotas…). Le « redressement » secret – s’agit-il d’une raison d’État pour que quelques sages mandatés y aient accès et pas la population ? – est une pratique industrielle qui me semble à peu près aussi honnête que les manoeuvres de Patrick Buisson : un oligopole se partage les parts d’un marché captif sur la base d’une vaste entourloupe pseudo-scientifique mais apparemment très rentable.

      Et j’écris tout cela en étant moi-même un lecteur assez régulier de données d’enquête, par curiosité autant que par obligation professionnelle (librement consentie).

  3. Ping : Book of Saturday » Journalists

  4. Ping : Comment le discours politique stigmatise l’immigration » Article » OWNI, Digital Journalism

Les commentaires sont fermés.