Sondages, un dernier témoignage accablant

On y reviendra toujours et encore, et encore encore

Le directeur de BVA explique la chose suivante sur un blog du Monde :

C’est quoi, une marge d’erreur statistique ? Nos sondages sont souvent réalisés avec un échantillon représentatif de 1 000 personnes. Si on extrapole à 40 millions d’électeurs, on doit considérer que le résultat donné l’est avec une marge d’erreur. Concrètement, si on accorde, par exemple, 25 % des intentions de vote à un candidat dans notre étude, il existe une marge d’erreur de 2,5 points : c’est-à-dire qu’on considère qu’il y a 95 % de chances qu’il obtienne, in fine, entre 22,5 % et 27,5 % des voix.

Cela ne veut pas dire que l’on fixe le résultat, dans cette fourchette, au hasard. Le résultat de 25 % est pour nous le plus probable. Pour l’obtenir, cela fonctionne comme une courbe de Gauss.

Ce dernier paragraphe, souligné par mes soins, renvoie directement à l’erreur soulignée dans un billet précédent au sujet de la méthode d’échantillonnage par quotas : l’utilisation de la “courbe de Gauss” requiert un échantillon de valeurs échantillonnées aléatoirement, sans aucune intervention sur la sélection probabiliste des observations ; ce qui n’est pas le cas d’une enquête par quotas, où l’échantillon est composé à l’image de la population en sélectionnant les individus sur ce critère.

Cette première erreur est extrêmement difficile à diagnostiquer et demande des dizaines d’années de pratiques des… Ah, tiens, non, en fait, c’est en première page de Google avec les mots-clés “méthode” et “quotas” :

Une deuxième erreur, plus amusante, consiste à identifier la tendance centrale de l’intervalle de confiance comme “la plus probable”. Ce raisonnement est complètement faux en statistiques fréquentistes, et resterait complètement faux en statistiques bayésiennes, parce qu’il est diamétralement opposé au concept même d’intervalle de confiance. Mais il faut apparemment comprendre que tout cela n’est pas juste faux, c’est aussi trop-compliqué-pour-les-médias-sans-même-parler-des-vrais-gens :

La question, derrière cela, est de savoir s’il faudrait présenter à chaque fois les résultats comme une fourchette. Je ne pense pas. Ce serait pénible pour nos partenaires de la presse écrite, mais encore plus pour nos partenaires de l’audiovisuel… Ce serait très lourd. Mais il faut, dans nos commentaires, systématiquement préciser quand les écarts entre candidats sont dans la marge d’erreur. Ainsi, on peut dire que François Hollande est symboliquement devant Nicolas Sarkozy au premier tour dans ce sondage.

Tout est dans le “symboliquement”, car un sondage, en pratique, cela sert effectivement à relever ou assassiner symboliquement une cause, ou même juste à l’habiller. Sinon, c’est faux : repassez-vous les sondages des années 1980 sur le site de l’INA, et vous trouverez des vidéos d’Antenne 2 donnant des résultats avec des intervalles de confiance. Les graphiques étaient moins élégants à l’époque, mais l’information a pu être plus correcte qu’aujourd’hui.

Le marché des enquêtes d’opinion en France fait l’objet d’une régulation a minima qui interdit formellement la contrefaçon du produit : ce qui est sur l’étiquette doit être dans la soupe. Mais si l’on veut accorder une légitimité scientifique à ce produit, ce que fait le directeur de BVA en se réclamant de Gauss pour parler de ses propres estimations, alors il faut un mode de régulation plus contraignant pour rendre l’offre honnête.

J’en profite pour signaler qu’un doctorant de mon laboratoire a résumé les positions existant sur les sondages en France, de l’Opinion Gate à la reconnaissance “paisible” du fait que les sondages ne constituent qu’un “moyen d’expression politique parmi d’autres”. La science politique consistant à étudier la distribution des moyens d’expression politique, je serais toutefois d’avis d’être plus incisif sur le sujet. La question n’est pas celle des effets électoraux, car je pense pense que les sondages n’ont aucun effet tangible sur le vote à l’échelle d’une élection comme la présidentielle française. La question est celle des causes, ou plus exactement, de ce qui se joue dans le clientélisme négocié entre instituts, médias et partis politiques autour de la diffusion des sondages.

Pour toutes ces raisons, la science politique parle des sondages, mais en toute connaissance de cause et sans dissimuler leur absence de fondement scientifique. Le débat y porte clairement sur la nature de l’instrument, avec des positions très éloignées mais sans illusion aucune sur ce qu’il reste de scientifique à l’issue de la cuisine sondagière. Au milieu de tout ça, j’aurais tendance à choisir le camp de ceux qui pensent pouvoir exposer la pauvreté des sondages en modélisant plus sérieusement le vote, et en diffusant les résultats là où les sondages aboutissent à une vision déformée de la science politique.