Annals of Youtube Science 2(2): Les échantillons non probabilistes

Ce blog peine à sortir de sa torpeur éditoriale, et il s’est déjà écoulé six mois entre l’épisode 2(1), qui parlait lui aussi de sondages, et celui-ci. Plus d’activité à la rentrée, promis.

Le Pew Research Center (chaîne Youtube), déjà évoqué dans l’épisode 1(14) sur les échantillons aléatoires, vient de publier cette vidéo sur les échantillons non probabilistes, c’est-à-dire la vaste majorité des échantillons :

Les enquêtes dites “opt-in”, menées sur des échantillons de volontaire via des plateformes Web, sont un exemple d’échantillon non probabiliste ; les enquêtes “par quotas” en sont un autre, très différent, mais dans les deux cas, les calculs des marges d’erreur, les “erreurs standard“, cessent d’être paramétriques – les erreurs standard cessent précisément d’être “standard”¹.

Ce que montre la vidéo ci-dessus, c’est qu’il est tout à fait possible de s’engager dans un travail de collecte de données sur une base non probabiliste, puis de mettre en place la recherche méthodologique nécessaire pour chercher les erreurs non paramétriques à y apporter pour pouvoir en généraliser les résultats².

C’est la seconde étape qui fait souvent défaut dans les sondages par quotas publiés par les instituts privés, ou dans leur utilisation pour assembler certaines enquêtes scientifiques comme l’European Values Survey (EVS). J’en ai déjà parlé à multiples reprises.

D’une certaine manière, la vogue actuelle pour les “big data” et la “data science” contourne quasi-complètement cet obstacle, en faisant reposer l’analyse sur des échantillons sciemment non représentatifs (les utilisateurs de Twitter, par exemple), et en travaillant sur “la totalité des données disponibles”, bien qu’empiriquement, cette “totalité” reste dans la plupart des cas un… échantillon des données (Twitter, toujours).

1. En économétrie ou en statistiques appliquées, on peut faire toute une carrière sur la correction de ce problème. Dans le reste des sciences sociales, on peut faire toute une carrière en ignorant – plus ou moins volontairement – ce problème. [↩]
2. L’inférence visera généralement la population générale, souvent adulte, et en science politique, encore plus souvent restreinte au corps électoral. On ne manquera toutefois pas de faire commencer le communiqué de presse par “Les Français”. [↩]

---

---