Comment ne rien comprendre aux marges d’incertitude du vote des jeunes

1. Ping : Jeunes, sondages et vote FN [reloaded] – Joël Gombin

2. Surtout, le journal publie ce rectificatif sans AUCUN COMMENTAIRE de sa part!!!!!

   Il faut dire que la Médaille Fields, Cédric Villani, qui publie un petit article dans le même journal, “Désordre mathématique contre déraison humaine”, Le Monde, 14 avril 2012, n’a pas l’air non plus très au point sur les sondages à la française…. Après avoir justement cité les calculs de marge d’erreur fonction du nombre de sondés, il dit : “La méthode des quotas contourne ce problème [du hasard dans le choix des sondés] en cherchant à construire un modèle réduit de la population, mais son analyse mathématique est délicate et incertaine.” Pas très judicieux comme formule de sa part, s’il voulait informer le grand public cultivé qui lit ces pages.

   En tout cas, si les sondages se trompent de beaucoup cette fois-ci, on va assister à un vrai déballage! Sinon, business as usual!

   1. La colonne de Villani est effectivement dispensable. Le vrai souci reste l’idée que la méthode des quotas serait justiciable d’une marge d’erreur liée au nombre d’observations, comme en statistiques fréquentistes où l’erreur standard décroît effectivement avec sa racine carrée : ce n’est tout simplement pas le cas dans un échantillon par quotas.

      Malgré cela, avec tout le mal que je pense de la méthode, je pense que les chiffres eux-mêmes sont approximativement corrects sur l’ordre des candidats. Je m’attends à un ordre très proche des sondages, au premier et au second tour.

      Au passage, la formule commerciale du Monde est tellement bas-de-gamme que le texte de Villani est (1) absent sur Google, (2) payant même pour les abonnés, et (3) en erreur 504 un coup sur deux.

3. Sur cette question des marges d’erreur, un membre de la Société française de statistiques, Pascal Ardilly, a déposé devant une commission sénatoriale chargée d’un rapport parlementaire sur “sondages et démocratie”. Il dit, en substance et si je l’ai bien compris, que bien qu’on ne puisse pas appliquer les méthodes fréquentistes d’inférence sur des sondages par quota… on peut quand même faire comme si. J’ai trouvé sa contribution un peu emberlificotée, mais je ne suis pas statisticien donc pas le mieux à même d’en juger…

   1. Je ne connaissais pas le texte. Le langage employé, comme ce choix d’opposer sondages “empirique” et “probabiliste”, n’est pas ma tasse de thé, mais le texte a le mérite d’être lisible. Le coeur de l’argument renvoie très clairement le problème à un choix arbitraire sur la nature de l’erreur standard dans un échantillon par quotas :

      En pratique, nous constatons que certains sondages empiriques – électoraux ou portant sur d’autres thèmes – donnent lieu à des intervalles de confiance. L’intention de mesurer et de diffuser l’erreur d’échantillonnage est très louable et doit être encouragée selon nous, mais il faut être clair sur le sens de ces calculs : d’une part ils négligent le biais (sans ce parti pris, il n’y a pas d’intervalle de confiance possible), d’autre part ils résultent bien d’une assimilation à un échantillonnage probabiliste.

      (…)

      Puisque le biais ne peut être apprécié que qualitativement, sous les réserves énoncées ci-dessus, l’appréciation quantitative de l’erreur ne peut concerner que la variance d’échantillonnage. Il s’agit seulement d’une composante de l’erreur totale mais à partir du moment où la Commission compétente considère que l’échantillonnage empirique apparait assimilable à un échantillonnage probabiliste, il n’y a plus d’obstacle à estimer cette variance. La technique le permet, en tout cas. Il y a donc une logique à exiger cette estimation, sous condition probablement d’un consensus sur la technique de calcul (afin de cadrer à minima les expressions utilisées par les instituts).

      La Commission compétente a effectivement le droit de considérer que l’erreur standard d’un échantillonnage par quotas est la même que dans un échantillonnage probabiliste ; ça se décrète sans problème parce que c’est mathématiquement possible si l’estimateur dans les échantillons par quotas se comporte comme un estimateur normal. Cette possibilité théorique exige, pour être vérifiée, que l’on puisse faire converger asymptotiquement tous les estimateurs utilisés par les instituts de sondage procédant par quotas, pour observer si leurs estimations sont justiciables d’un tel comportement.

      L’auteur donne lui-même la solution de ce problème, en citant l’exemple d’une enquête sur le travail qui aboutit à sur-représenter les inactifs. Pour satisfaire un estimateur normal à partir des quotas, il faudrait concrètement que cet effet s’annule sur une infinité d’enquêtes sur le travail. C’est mathématiquement possible. Ça suppose juste de se couper de l’idée que le comportement humain est régulier (donc asymétrique, donc anormal), ce qui est l’hypothèse d’arrière-plan… d’une enquête d’opinion.

Les commentaires sont fermés.