Intérêt(s)

Hier s’est tenue la séance de l’atelier d’épistémologie “Comment fait-on des sciences sociales” (CoFSS) consacrée à la notion d’intérêt dans les sciences sociales. J’avais suggéré ce thème aux organisateurs l’an dernier, notamment lors du séminaire organisé à Foljuif, et au cours duquel les participants avaient décidé de consacrer leur deuxième année d’activité au thème des “inobservables” en sciences sociales.

On définit comme “inobservable” l’ensemble des concepts qui appartiennent au raisonnement sociologique mais qui ne sont pas justiciables de l’observation empirique : par exemple, les acteurs sociaux expriment régulièrement des “dispositions” ou des “intérêts” sans qu’il soit matériellement possible d’isoler une disposition ou un intérêt dans la réalité. Le problème épistémologique qui se pose est en définitive celui de la référence à des phénomènes non tangibles dans une science empirique.

Pour faire le lien avec mes travaux et mes billets récents, le problème de connaissance que pose les inobservables est analogue aux problèmes qui se posent lorsque l’on tente d’analyser une économie morale ou de comprendre ce qui constitue, dans les faits, l’opinion publique—avec toutes les erreurs que cela peut induire. Ces notions correspondent à des faits stylisés, et leur définition conceptuelle est par conséquent cruciale pour la justesse de l’analyse.

La notion d’intérêt me paraissait justiciable d’une réflexion collective dans le cadre de cet atelier. Il est en effet trivial d’analyser un acteur social en disant qu’il se comporte “en fonction de son intérêt”. Le problème, c’est que cette analyse est elle-même une mystification, car elle renvoie à l’intérêt propre de manière normative : il est obligatoire, voire rationnel, voire juste, de se comporter “en fonction de son intérêt”.

Les deux exposés de la séance ont magistralement déconstruit ce problème, en se servant principalement d’Hirschman, Friedman, Bourdieu et Mauss. Je ne suis pas certain d’avoir suffisamment décanté pour en tirer des conclusions définitives sur l’intérêt de la notion d’intérêt (waouh), mais je suis à présent convaincu que ce problème n’a pas de solution dans la littérature scientifique que l’on manie habituellement. Même la sociologie analytique, qui a beaucoup réfléchi au problème de l’intérêt et des préférences, me semble poser autant de questions qu’elle n’apporte de réponses.

C’est pour cette raison que j’attends impatiemment de pouvoir bientôt lire Dean Mathiowetz sur ce thème : son récent ouvrage Appeals to Interest prolonge les travaux de Stephen Holmes et rouvre l’historiographie de l’intérêt là où Hirschman l’avait laissée, en remontant jusqu’à la Rome antique. Philippe Schmitter a également écrit sur ce thème, lui qui s’est fait connaître par des travaux sur l’agrégation des intérêts au sein des groupes sociaux très tôt dans sa carrière.

Je réalise que je bafouille, dans ce billet, comme hier en séminaire : je n’ai toujours pas les idées claires au sujet de l’intérêt, et encore moins des intérêts au pluriel, même si cette question me (pour)suit depuis un texte d’analyse des politiques publiques où l’un des pôles explicatifs est construit autour de cette notion. Mais j’ai bon espoir d’arriver à en tirer, un jour, quelque chose de concret.

Les médias américains misent tous sur les blogs universitaires

Ou plus exactement, sur les blogueurs universitaires. Bloomberg y voit la cause principale d’amélioration du reporting entre les années “Hillarycare” (début des années 1990) et les années “Obamacare” (fin des années 2000), pour faire référence à deux réformes du système de santé américain1.

Cette observation n’est pas difficile à valider2. Je suis d’assez près les politiques de santé aux États-Unis, et l’apport des blogs universitaires est indéniable, qu’ils soient hébergés par les médias eux-mêmes ou qu’ils tournent indépendamment sur des plateformes ouvertes à tous. S’il ne fallait en citer qu’un, je citerais The Monkey Cage, mais les archives de Polit’bistro sont assez fournies sur le sujet des blogs universitaires, notamment américains.

Je passe à présent en mode “Lettres persanes” pour railler à peu de frais la situation en France :

  • Voici le blog “sondages d’opinion sur la présidentielle” du New York Times.
  • Voici le blog “sondages d’opinion sur la présidentielle” du Monde.

Qu’on se comprenne bien : les deux journalistes du Monde font leur travail, et Nate Silver fait le sien. Nate Silver est juste beaucoup mieux équipé pour faire le tri entre le grain et l’ivraie, pas les journalistes du Monde, qui publient parfois des énormités, et qui ne publient aucune analyse approfondie3.

Encore une fois, je ne donne pas de leçon aux journalistes du Monde : je pense simplement qu’ils n’ont pas l’outillage théorique de Nate Silver, qui utilise Stata et qui cite l’erreur standard des sondages directement par son acronyme, RMSE — l’écart méthodologique pourrait difficilement être plus grand. De plus, je perçois très clairement que les attentes du Monde sont sensiblement inférieures à celles du New York Times : la comparaison n’est en fait plus possible à mon sens, et cela s’explique beaucoup moins par la formation des journalistes que les conditions de travail des rédactions, et en particulier des régies en ligne.

Reste enfin le passage où je m’auto-flagelle pour distribuer équitablement les torts : qui, dans le milieu académique français, irait tenir un blog “enquêtes d’opinion sur la présidentielle” pour le compte du Monde ? Les observateurs ne manquent pas, loin de là, mais ils sont paradoxalement presque plus nombreux à l’étranger qu’en France. Même les plateformes qui ont capté une bonne partie des universitaires, comme Mediapart, publient surtout des tribunes, et très peu d’analyse scientifique.

J’espère presque m’être planté à plusieurs endroits dans cet état de l’art, ça aura peut-être le mérite de faire réagir.

  1. Précision : les deux surnoms viennent du camp républicain, les deux réformes du camp démocrate. La première a échoué, la deuxième a réussi, sauf si la Cour suprême en décide autrement dans les heures qui viennent—stay tuned. []
  2. Qu’est-ce qu’on ne ferait pas pour employer la forme passive. D »ailleurs, est-ce bien la forme passive ? Bref, je suis d’accord avec Bloomberg. []
  3. Le résultat d’un sondage, ou même le commentaire d’un institut de sondage, n’est pas une analyse : c’est un discours rapporté, en chiffres et en lettres. L’analyse vient après le discours, quand on suit à la lettre ce que j’ai appris pour ma part en deuxième année d’études grâce à un journaliste de la PQR, qui se reconnaîtra peut-être s’il me lit. []

Polit’bistro sur Twitter

Les sondages et les questions pédagogiques semblent avoir ranimé Polit’bistro, au moins le temps d’un weekend. Joël et moi étant également actifs sur Twitter, voici notre tentative de micro-blogging à quatre mains :

Il nous manque la page Facebook pour pouvoir nous livrer à des décomptes un peu nerdy, mais ça devrait finir par se faire si le bistro nécessite une succursale. On en est très loin pour le moment.

À bientôt sur une plateforme ou sur une autre !

P.S. Le graphique qui nous sert de logo vient d’une note d’Andrew Gelman sur le vote aux États-Unis.

Incertitudes du plagiat, édition Web

Mise à jour : Marie-Anne Paveau a pris le soin de réunir d’autres points de vue critiques, dont celui d’Olivier Bouba-Olga. Cette controverse me fait découvrir certains clivages dormants entre enseignants du secondaire et du supérieur troisième cycle, et permet aussi de “retrouver” une partie de la blogosphère universitaire.

Le récit d’une petite opération de contre-espionnage pédagogique a beaucoup circulé ces derniers jours : une enseignante a expérimenté avec le plagiat et observe qu’il s’est généralisé au point où elle ne souhaite plus faire confiance à ses élèves pour utiliser les technologies numériques.

David Monniaux a dit ce qu’il fallait dire sur le modus operandi, sur les problèmes de généralisation de l’argument, et surtout sur le partage des responsabilités vis-à-vis du problème de fond que représente la copie servile :

Là où je rejoins l’auteur de l’article cité, c’est que le problème relève premièrement du manque de réflexion personnelle et de l’absence d’esprit critique (auxquels, je pense, s’ajoute le désir d’en faire le minimum pour des activités imposées., inintéressantes et sans enjeu). Le problème est, justement, que ces traits sont encouragés par l’enseignement secondaire à la française.

Damien Babet a aussi rédigé sa propre critique, qui rend encore plus claire la distribution objective des mérites et des torts dans le phénomène du plagiat :

Internet rend plus compliquée l’hypocrisie pédagogique des exercices traditionnels. On prétend que ce qui importe c’est la démarche, alors qu’on juge le résultat. Mais un même résultat peut maintenant s’obtenir par de nouveaux moyens. La fausse monnaie du web dévalorise nos trésors de papier. Disons-le plus brutalement : les corrigés en ligne rendent accessible aux enfants de pauvres le petit truc du perroquet bien dressé qui nous permettait, auparavant, de distinguer la progéniture bourgeoise, celle qui aime sincèrement Flaubert. Voilà le scandale. Tout se mélange. Tout se vaut. “Maintenant tout est devenu horizontal” me disait un collègue (nostalgique). Pour nous, la situation n’est pas confortable. Je suis sur le point d’abandonner la lutte contre le “plagiat” (mémoriser un cours ou un manuel scolaire, c’est bien, emprunter une phrase sur le web, c’est du “plagiat”, allez comprendre), mais je ne sais pas trop où je vais.

Les universitaires connaissent intimement le problème du plagiat, et ne sont pas toujours très au clair sur les circonstances ou les technologies qui s’y appliquent. Mais dans le cas de figure présent, le plagiat scolaire est un problème commun à l’enseignement secondaire et aux études universitaires, et si j’étais dans le secondaire, je lirais attentivement les deux commentateurs pré-cités.

Je suis très partagé sur ce que la technologie fait aux études. Par exemple, au sujet de la prise de notes par ordinateur, je ne vois toujours aucun apport concret, plutôt l’inverse, même si je conçois que ma suggestion initiale d’essayer d’y changer quoi que ce soit n’est pas fonctionnelle. Concernant le plagiat, j’ai trop peu d’expérience –sauf quelques anecdotes tragicomiques— pour dresser un portrait de mes anciens étudiants qui ne soit pas excessivement déformé.

Tout comme les notes, le plagiat est un aspect de l’enseignement que j’ai très vite choisi de traiter à la marge. Par exemple, je ne vais pas laisser passer un plagiat flagrant, mais je ne me change pas non plus en moteur de recherche quand je corrige mes copies. De la même manière, j’utilise une échelle de notes pour évaluer les travaux que je corrige, mais j’utilise un barème sans aucune sophistication, sur 5 ou 10 points. Dans les deux cas, je passe moins d’une minute par copie à penser au plagiat ou à décider de la note finale.

Le temps que je ne passe pas à me soucier du plagiat m’est offert par la nature des exercices que je donne. Le problème ne se pose par exemple presque pas en statistiques, tous les travaux sont personnalisés et “réplicalisés”. Les travaux doivent être accompagnés de leur code de réplication, ce qui impliquerait, pour un plagiaire, de falsifier des fichiers de programmation. Internet contient des milliers de fichiers de programmation, mais je n’ai jamais observé de plagiat, car mes étudiants plagient directement mon manuel pour le cours, comme je les y encourage, en leur montrant comment adapter mes snippets à leurs propres travaux. Le plagiat est une pratique encadrée, rationnelle et instructive en programmation, comme en calligraphie.

Le problème est évidemment beaucoup plus présent dans d’autres enseignements. En première année, la science politique est un cours magistral, ingurgité en amphi, recraché en examen terminal, et vaguement travaillé en travaux dirigés—vaguement, car le niveau d’implication des deux parties est trop limité pour en faire plus : les étudiants sont rarement à jour sur leurs lectures et deviennent très rapidement captifs des travaux notés ; hélas, les enseignants ne disposent que d’une heure et demi hebdomadaire pour y changer quoi que ce soit, ce qui est insuffisant pour apprendre une méthode de travail et discuter du fond par la même occasion.

L’enseignement secondaire est directement confronté à cette configuration pédagogique défavorable, et n’a pas moyen d’en sortir sans toucher à la nature de ses exercices. L’absence de réflexion sur ce point dans l’expérience qui fait l’objet d’autant de commentaires en ce moment est assez frappante. Par exemple, le fait d’accumuler les commentaires sans autre forme de logique que celle du calendrier scolaire ne semble pas être préoccupant pour l’enseignante, alors qu’elle-même organise son propre travail sur un corpus dont elle connaît la structure et le contexte.

Il y a probablement moyen de rendre chaque objectif pédagogique justiciable d’une méthode d’enseignement et d’évaluation qui ne se solde pas par une course à l’armement au sujet du plagiat, mais il faudrait arriver à modifier l’enseignement autant que l’étude. Ça m’a l’air mal barré. L’attitude des personnels est une chose (que je ne prétends pas connaître et encore moins applaudir ou regretter), mais de toute manière, la marge de manoeuvre logistique des personnels de l’éducation est nulle dans les contraintes institutionnelles et budgétaires qui sont celles des établissements.

P.S. Et pendant ce temps-là, outre-Manche. Aussi, on m’a fait remarquer que l’enseignante en question est un peu luddite sur les bords, et que c’est un enseignant, pas une enseignante (cette confusion a donné lieu à une micro-passe d’armes sur Twitter ; merci quand même).

Sondages, un dernier témoignage accablant

On y reviendra toujours et encore, et encore encore

Le directeur de BVA explique la chose suivante sur un blog du Monde :

C’est quoi, une marge d’erreur statistique ? Nos sondages sont souvent réalisés avec un échantillon représentatif de 1 000 personnes. Si on extrapole à 40 millions d’électeurs, on doit considérer que le résultat donné l’est avec une marge d’erreur. Concrètement, si on accorde, par exemple, 25 % des intentions de vote à un candidat dans notre étude, il existe une marge d’erreur de 2,5 points : c’est-à-dire qu’on considère qu’il y a 95 % de chances qu’il obtienne, in fine, entre 22,5 % et 27,5 % des voix.

Cela ne veut pas dire que l’on fixe le résultat, dans cette fourchette, au hasard. Le résultat de 25 % est pour nous le plus probable. Pour l’obtenir, cela fonctionne comme une courbe de Gauss.

Ce dernier paragraphe, souligné par mes soins, renvoie directement à l’erreur soulignée dans un billet précédent au sujet de la méthode d’échantillonnage par quotas : l’utilisation de la “courbe de Gauss” requiert un échantillon de valeurs échantillonnées aléatoirement, sans aucune intervention sur la sélection probabiliste des observations ; ce qui n’est pas le cas d’une enquête par quotas, où l’échantillon est composé à l’image de la population en sélectionnant les individus sur ce critère.

Cette première erreur est extrêmement difficile à diagnostiquer et demande des dizaines d’années de pratiques des… Ah, tiens, non, en fait, c’est en première page de Google avec les mots-clés “méthode” et “quotas” :

Une deuxième erreur, plus amusante, consiste à identifier la tendance centrale de l’intervalle de confiance comme “la plus probable”. Ce raisonnement est complètement faux en statistiques fréquentistes, et resterait complètement faux en statistiques bayésiennes, parce qu’il est diamétralement opposé au concept même d’intervalle de confiance. Mais il faut apparemment comprendre que tout cela n’est pas juste faux, c’est aussi trop-compliqué-pour-les-médias-sans-même-parler-des-vrais-gens :

La question, derrière cela, est de savoir s’il faudrait présenter à chaque fois les résultats comme une fourchette. Je ne pense pas. Ce serait pénible pour nos partenaires de la presse écrite, mais encore plus pour nos partenaires de l’audiovisuel… Ce serait très lourd. Mais il faut, dans nos commentaires, systématiquement préciser quand les écarts entre candidats sont dans la marge d’erreur. Ainsi, on peut dire que François Hollande est symboliquement devant Nicolas Sarkozy au premier tour dans ce sondage.

Tout est dans le “symboliquement”, car un sondage, en pratique, cela sert effectivement à relever ou assassiner symboliquement une cause, ou même juste à l’habiller. Sinon, c’est faux : repassez-vous les sondages des années 1980 sur le site de l’INA, et vous trouverez des vidéos d’Antenne 2 donnant des résultats avec des intervalles de confiance. Les graphiques étaient moins élégants à l’époque, mais l’information a pu être plus correcte qu’aujourd’hui.

Le marché des enquêtes d’opinion en France fait l’objet d’une régulation a minima qui interdit formellement la contrefaçon du produit : ce qui est sur l’étiquette doit être dans la soupe. Mais si l’on veut accorder une légitimité scientifique à ce produit, ce que fait le directeur de BVA en se réclamant de Gauss pour parler de ses propres estimations, alors il faut un mode de régulation plus contraignant pour rendre l’offre honnête.

J’en profite pour signaler qu’un doctorant de mon laboratoire a résumé les positions existant sur les sondages en France, de l’Opinion Gate à la reconnaissance “paisible” du fait que les sondages ne constituent qu’un “moyen d’expression politique parmi d’autres”. La science politique consistant à étudier la distribution des moyens d’expression politique, je serais toutefois d’avis d’être plus incisif sur le sujet. La question n’est pas celle des effets électoraux, car je pense pense que les sondages n’ont aucun effet tangible sur le vote à l’échelle d’une élection comme la présidentielle française. La question est celle des causes, ou plus exactement, de ce qui se joue dans le clientélisme négocié entre instituts, médias et partis politiques autour de la diffusion des sondages.

Pour toutes ces raisons, la science politique parle des sondages, mais en toute connaissance de cause et sans dissimuler leur absence de fondement scientifique. Le débat y porte clairement sur la nature de l’instrument, avec des positions très éloignées mais sans illusion aucune sur ce qu’il reste de scientifique à l’issue de la cuisine sondagière. Au milieu de tout ça, j’aurais tendance à choisir le camp de ceux qui pensent pouvoir exposer la pauvreté des sondages en modélisant plus sérieusement le vote, et en diffusant les résultats là où les sondages aboutissent à une vision déformée de la science politique.

Comment ne (toujours) rien comprendre aux sondages

Mise à jour : si les sondages vous laissent de marbre, essayez les modèles. Le dernier en date, très cohérent avec tout ce que l’on sait du vote, donne François Hollande à 51% au second tour sans réellement modéliser la prime du meilleur score au premier tour.

Comme l’a bien compris la blogosphère économiste, le moment est venu d’en remettre une couche. Ça tombe bien, Le Monde publie un texte de circonstance, par Albert Camus, qui s’exprime mieux par lui-même que par Michel Onfray :

En face de la marée montante de la bêtise, il est nécessaire également d’opposer quelques refus. Toutes les contraintes du monde ne feront pas qu’un esprit un peu propre accepte d’être malhonnête. Or, et pour peu qu’on connaisse le mécanisme des informations, il est facile de s’assurer de l’authenticité d’une nouvelle. C’est à cela qu’un journaliste libre doit donner toute son attention.

Les geeks auront remarqué que le site Internet du Monde vient de passer en HTML5, un standard toujours en cours de développement. Jolie performance ! Malheureusement, Le Monde et les médias en général ne sont pas toujours à la frange de l’innovation, et les sondages en sont la meilleure illustration.

Pour rappel, l’accord tacite entre les médias et les instituts de sondage sera bientôt à la retraite : il y a 64 ans, les médias américains faisaient découvrir à leur lectorat la course hippique avec des candidats à l’élection présidentielle, et même si tout le monde déplore le côté panem et circenses, tout le monde lit les sondages aujourd’hui, ne serait-ce que pour rappeler qu’ils construisent la réalité au moins autant qu’ils ne la capturent. L’argument bourdieusien était moins agressif que sa version actuelle, mais la connivence instituts-médias-politiques polarise les positions.

En France, on a en plus la chance d’avoir de fabuleux instituts de sondage qui échantillonnent et redressent de manière endogène, ce qui garantit qu’aucune contrainte scientifique ne viendra gâcher le spectacle. Parmi ces contraintes, la théorie des probabilités. Ce que l’on appelle “méthode par quotas”, et que les sondeurs eux-mêmes désignent comme une “recette de cuisine”, est en substance un affranchissement total du théorème central-limite ; vous êtes prévenus, mais vous regarderez quand même les courbes et lirez quand même les décimales flottantes.

Il est possible de modéliser sérieusement les données issues des sondages, sur le modèle de ce qui se fait aux États-Unis, mais aucun média ne joue actuellement ce jeu-là. Au lieu de ça, on lit des interviews affligeantes dans Le Monde ou dans Slate, qui a récemment redéfini le degré zéro de l’analyse journalistique appliquée aux pronostics électoraux. Je n’ai aucun grief personnel contre l’auteur ou contre Slate ; les deux publient certainement des feuillets de bonne facture en parallèle. Je suis plus inquiet pour les grandes rédactions qui dilapident le prestige de leurs titres, et pour la qualité du travail dans l’espace médiatique en général.

Si vous aimez la science-fiction de Moebius, alors vous êtes à peu près autant dans la réalité que si vous aimez les données des instituts de sondage et des quelques personnalités qui se prêtent au jeu de leur analyse. Et quand je vois une partie de l’humanité se réunir autour d’un cadavre, je pense très fort aux lecteurs de 20 Minutes dans le métro qui parcourent les baromètres “Plus/Moins” avec tout autant de naïveté.

Il me semble que voter pour la science passe aussi par un calibrage plus intelligent de la science des sondages, qui n’a presque aucune chance de s’exprimer dans le contexte que je décris ici à grands traits. Le duel Buisson-Garrigou n’a eu aucune conséquence positive sur ce contexte, ce qui est très dommage.

P.S. J’ai malencontreusement oublié de parler du frelatage de graphiques, en rapport avec les instituts de sondage qui prennent de moins en moins le soin de publier autre chose que des “slideshows” fabriqués sur des gabarits PowerPoint. Mais ce défaut dépasse leur sphère de responsabilité.