La Central European University en partance pour Vienne

J’avais évoqué, il y a un an et demi, la campagne de persécution menée par Viktor Orbán contre la Central European University (CEU) — campagne qui a pris plusieurs virages, dont celui consistant à ne plus financer les programmes de Gender Studies (à la CEU et à l’ELTE), mais qui a surtout consisté, dans le cas précis de la CEU, à menacer de lui retirer l’accréditation qui lui permet de diplômer ses étudiants.

Aujourd’hui, alors qu’approche la date-limite des négociations sur l’accréditation (date qui semble fixée au 1er décembre), on en est là :

La situation actuelle est un coup direct porté à la liberté universitaire, car c’est bien à ce genre de manœuvres que l’on établit une autocratie, sur fond d’antisémitisme totalement assumé, et avec le soutien de ces conservateurs, américains ou européens, qui apprécient les « hommes forts » d’Europe de l’Est, en plus de partager leurs pires travers conspirationnistes.

Et évidemment, comme précédemment, les eurodéputés français du groupe PPE ont refusé de sanctionner collectivement le gouvernement Orbán — le même qui menace d’emprisonnement les ONG venant en aide aux migrants, au point que l’ONU décommande d’y appliquer les règles de répartition des migrants fixées au niveau européen.

On notera, pour terminer ce non-billet car je ne trouve pas de mots, que Vienne ne s’est pas non plus vraiment distinguée dans le domaine de l’accueil des migrants. La Vienne qu’avaient fui les philosophes du Cercle de Vienne ne semble finalement pas si loin, et je suis trop déprimé pour examiner la situation analogue en Roumanie.

À ce stade, ce n’est plus du democratic backsliding, c’est du bobsleigh autoritaire, et la piste ne présente presque aucun obstacle sérieux.

Régressions à la radio

C’est soit un signe des temps, soit une inclination personnelle, soit les deux, qui m’a / m’ont amené, cet été, à relever la mention, dans deux émissions de radio consécutives, des modèles statistiques dits « de régression » :

  • Par Jean-Louis Fabiani, dans l’émission La suite dans les idées de France Culture, où il cite les résultats d’un papier sur le vote nationaliste en Corse1 ; et
  • Par Alexis Spire, dans l’épisode suivant de la même émission, où il parle des ses propres travaux (sur le consentement à l’impôt) en citant les résultats « toutes choses égales par ailleurs » d’une régression logistique.

Ni l’animateur de l’émission, ex-universitaire, ni les invités, universitaires tous les deux, n’ont expliqué à l’antenne ce que sont ces modèles, supposant ainsi une forme de familiarité de l’auditeur avec cette technique d’obtention de résultats quantifiés. À d’autres moments des mêmes émissions, la même familiarité supposée permet aux intervenants de citer, par exemple, la méthode ethnographique.

Je doute que l’auditeur standard de France Culture connaisse grand chose aux modèles de régression, même si l’expression « toutes choses égales par ailleurs » sert d’introduction intuitive à la logique de ces modèles2. Qu’importe, je trouve intéressant que l’on suppose, de plus en plus souvent et au moins pour les publics avertis, une connaissance au moins minimale des techniques de modélisation statistique.

Prochaine étape : expliquer ce que signifie « apprentissage machine »… Le résultat risque d’être intéressant, vu que dans une immense majorité des cas, l’expression signifie « plus d’incertitude pour plus de résultats ».

  1. Fichier PDF. Le papier n’est pas cité précisément : je suppose que c’est le bon, mais n’en suis pas sûr. []
  2. L’expression a été critiquée, dans la mesure où elle semble impliquer qu’un modèle de régression produit des scénarios absurdes de type « chameau au Pôle Nord » ; il me semble que la critique vient de Jean-Claude Passeron et Jacques Revel (reprenant, ou répondant à, François Simiand), mais vu la faiblesse de la critique, il vaut mieux que la source précise reste inconnue. []

Annals of Youtube Science 2(3): L’Arab Barometer

Dans la lignée des billets précédents sur les enquêtes d’opinion (les sondages), et notamment des billets :

… je reprends la série de vidéos informatives sur la mesure des attitudes à partir de données d’enquête en population générale.

En voici une sur l’Arab Barometer, mise en ligne par l’association marocaine TAFRA (que j’ai eu la chance de découvrir, grâce à un ancien étudiant et ami, lors de mon dernier séjour dans le pays, et dont le site Web est extrêmement riche : memos, vidéos, rapports…) :

Je n’ai jamais utilisé les données Arab Barometer, ni Afrobarometer ou AmericasBarometer d’ailleurs, mais je connais un peu les données WVS (World Values Survey), et la vidéo ci-dessus donne furieusement envie d’aller voir les questions, les réponses et ce qui est prévu pour les vagues à venir.

Tous les canulars scientifiques ne sont pas bons à prendre

Encore un billet sur l’édition scientifique, et presque pas, au final, sur ce que Pluckrose, Lindsay et Boghossian pensent avoir fait (la démonstration pratique d’un problème épistémologique) dans ce canular dont vous aurez peut-être entendu parler.

Ce billet, qui dit presque la même chose que ce texte, mieux rédigé, de David Engber (trad. fr.), contient un nombre inhabituellement élevé de liens vers des tweets, Twitter étant devenu le champ de bataille favori des universitaires (j’y reviendrai en fin de billet).

Le canular scientifique – c’est-à-dire l’article sans queue ni tête envoyé à une revue et accepté pour publication par cette même revue – est, à mon sens, une forme de démonstration par l’absurde au moins aussi valide que la démonstration par l’absurde en logique ou en mathématiques.

Ce qui ne signifie pas que tous les canulars scientifiques se valent : tous ne font pas « gloup gloup » de la même manière, et en conséquence, tous n’atteignent pas aussi bien leur cible. Dans le cas du canular de Pluckrose, Lindsay et Boghossian, je pense, pour faire court et simple, que l’on a affaire à un sous-produit, un canular discount, en quelque sorte, sans goût et sans réelle portée.

Le canular en quelques lignes

Il y a plusieurs types de canulars. Ceux du type « Get Me Off Your Fucking Mailing-List » ont pour cible les éditeurs scientifiques dits « prédateurs », qui ne sont éditeurs scientifiques qu’en surface : derrière, il n’y a rien, sinon la volonté de récupérer un peu d’argent (souvent public). Dans ce cas de figure, le but n’est pas de montrer que le peer review de ces revues fonctionne mal, mais plutôt qu’il n’y a aucun peer review.

D’autres canulars, dont ceux de la revue Zilsel1, vont plus loin : ils visent des revues qui se disent scientifiques, et qui ont tous les attributs des revues scientifiques, mais qui publient quand même n’importe quoi. Le carnet de la revue documente plusieurs exemples, en sciences sociales et en philosophie—si c’est bien en philosophie qu’il faut classer les soi-disantes « Badiou Studies« .

Le dernier canular scientifique en date appartient à cette seconde catégorie : ses auteurs, un universitaire et deux essayistes, ont visé 20 (!) de revues « cultural studies, or identity studies, or critical theory » (!!), c’est-à-dire des domaines de recherche mal balisés situés au croisement entre les humanités et les sciences sociales, et ont réussi à faire publier des idées aussi atroces que stupides2.

À travers ce canular, baptisé « Sokal Squared » par les médias, les auteurs pensent avoir blessé à mort ce champ mal défini qu’ils choisissent d’appeler les « Grievance Studies«  : en effet, les revues visées auraient en commun l’objectif d’explorer les différentes manière de redonner une voix aux populations marginalisées, au premier rang desquels les femmes.

Je pense que le mode opératoire des auteurs souffre d’un sérieux problème de méthode (d’où les points d’exclamation un peu plus haut), mais surtout, que leur conclusion est un non sequitur complet.

Un gros problème de méthode

Commençons par le commencement : il y a de sérieux problèmes de méthode dans ce canular, qui n’est que la version revue et corrigée d’un canular scientifique raté, commis par deux des auteurs l’an dernier3.

La spécificité de ce canular est d’avoir visé un nombre très important de revues, ce qui aurait apparemment demandé un an de travail à ses auteurs, et certainement au moins autant en temps cumulé aux reviewers des articles — enfin, si ce travail a été fait, ce qui ne semble pas être mis en cause ici4.

On serait donc sur une cible scientifique inattaquable sur la forme, mais pas sur le fond. Revenons à la définition du fond, car les auteurs donnent dans leur texte une liste plus complète des domaines de recherche visés (c’est moi qui souligne) :

grievance studies, including (feminist) gender studies, masculinities studies, queer studies, sexuality studies, psychoanalysis, critical race theory, critical whiteness theory, fat studies, sociology, and educational philosophy.

À ce stade, il faut remarquer que les auteurs ne savent pas vraiment à qui ils s’en prennent. D’une part, les domaines visés sont hétérogènes et (très) mal définis ; d’autre part, comme l’ont fait remarquer plusieurs personnes sur Twitter, aucune des sept revues de sociologie visées n’a été « infectée » par le canular5.

On pourrait s’attendre à ce que les auteurs en tirent des leçons, mais ce n’est pas ce que fournit leur article-rapport, qui cite très sélectivement leurs données sans aucun recul sur ce que les échecs de leur protocole de recherche (pseudo-articles rejetés) permettrait de dire en rapport à ses succès (pseudo-articles acceptés). Au lieu de ça, les auteurs se contentent de pavoiser sur le fait d’avoir réussi à faire publier des inanités.

En statistiques, on appelle ça « échantillonner sur la variable dépendante » : c’est une erreur de base, qui montre que les auteurs n’ont multiplié les articles-canulars que pour maximiser leur nombre total de succès alors que leur objectif initial aurait dû pouvoir être atteint à partir d’une expérience cruciale.

Partant de là, toute une partie de l’argumentation de Pluckrose, Lindsay et Boghossian s’effondre, puisqu’au lieu de démontrer la faible scientificité des domaines de recherche visés (faiblesse épistémologique), la méthode employée démontre plutôt, en réalité, le degré élevé de charité académique des reviewers ayant eu à expertiser les pseudo-articles (faiblesse « épistémique », en quelque sorte).

C’est sur ce dernier aspect du travail scientifique que les auteurs ont vraiment travaillé, mais apparemment sans s’en rendre compte (ou sans l’admettre), et en tirant, du coup, des conclusions absurdes de leur expérience.

Un non sequitur magistral

Continuons par l’examen des conclusions des auteurs (c’est à nouveau moi qui souligne) :

Based on our data, there is a problem occurring with knowledge production within fields that have been corrupted by grievance studies arising from critical constructivism and radical skepticism.

Les cibles évoquées ici ne sont plus celles du protocole de recherche initial : ce sont des cibles supplémentaires, pas du tout réductibles aux revues « infectées » par le canular, et rajoutées post facto, après obtention des résultats.

Il est presque triste, pour les auteurs, de se planter si clairement dans la démonstration. Certes, leur méga-canular a plu à beaucoup de monde, et devrait continuer de faire rigoler dans les chaumières scientifiques, mais Dan Drezner et moi sommes loins d’être les seuls à avoir remarqué le double problème de méthode et de raisonnement souligné ici : au contraire, à peu près tout le monde semble arriver aux mêmes conclusions.

Et les auteurs en sont à leur deuxième essai !6 C’est franchement un peu triste.

Par ailleurs, je pense qu’au moins un des auteurs sait ce qu’il fait : de mon point de vue, Paul Peter Boghossian semble avoir appris de son attaque frontale contre le relativisme que ses arguments étaient assez simples à faire tomber, et renomme, du coup, ses ennemis favoris quand il bénéficie d’une nouvelle fenêtre d’opportunité pour s’en prendre à eux.

(Mise à jour, 16 octobre : sauf qu’en fait, non, le paragraphe ci-dessus étant basé sur une confusion entre Peter Boghossian, de Portland State, et Paul Boghossian, de la NYU. Du coup, pas de lien indirect effectif entre l’attaque contre le constructivisme sociologique et le relativisme épistémologique, même si dans l’absolu, c’était un pont possible de l’argumentation.)

Du coup, je trouve que ce tweet de Kieran Healy pose la bonne question au sujet de ce canular, question qui se pose dès que l’on se trouve face à une méthode de démonstration qui laisse autant de trous béants dans le raisonnement :

The question is, what do you hate? And why is that?

La réponse, dans le cas présent, tient à mon sens dans cette détestation un peu infantile (pour ne pas dire idiote) du constructivisme sociologique, que les auteurs appellent plus haut « constructivisme critique » pour noyer le poisson, mais personne n’est vraiment dupe : les auteurs, bis repetita, ne savent pas à qui ils s’en prennent7.

C’était déjà le cas, je pense, lorsque Boghossian, et bien d’autres, s’en prenaient au relativisme des science studies, sur la base d’accusations qui faisaient converger toutes les formes de relativisme vers une seule forme indistincte de nihilisme épistémique (voire culturel).

(Mise à jour, 16 octobre : même correction que plus haut.)

En tirer quelque chose ?

Je me suis demandé, pour terminer, si l’on pouvait sauver ce canular, en réécrivant une (grosse) partie du raisonnement ou en modifiant la présentation des résultats, et je n’en suis pas vraiment certain.

On pourrait, dans un sens, se convaincre que Pluckrose, Lindsay et Boghossian ont travaillé à démontrer que le peer reviewing – dont ils déclarent très clairement que ce n’est pas leur cible – est, dans sa forme actuelle, broken beyond repair, et que certains des exemples les plus flagrants se manifestent dans les domaines de recherche visés par les auteurs8.

Néanmoins, cela n’est pas du tout démontré ici, et les données requises pour tester cette hypothèse (à commencer par un groupe-contrôle) n’ont pas été collectées. On peut même supposer que, vu la pusillanimité des auteurs, ils auraient formulé cet argument au moindre signe allant dans le sens de cette conclusion, mais rien de cela ne transparaît dans leur texte.

A contrario, on pourrait choisir de provisoirement mettre de côté le mode opératoire des auteurs, et affirmer que les conclusions des auteurs – il y a quelque chose  de pourri au royaume des « cultural whatever-that-means studies » – méritent d’être formulées, car elles contiennent une part de vérité suffisante pour que l’on s’interroge à leur sujet.

Ce mode de raisonnement serait intéressant à observer, chez les auteurs du canular en particulier, si ceux-ci ou d’autres venaient à essayer de « sauver » leur enquête des critiques formulées à son égard. Charitablement, ce serait une belle démonstration de l’hypothèse Duhem-Quine. Moins charitablement, ce serait un pur sophisme, du type, précisément, de celui que les auteurs voulaient mettre à terre.

Enfin, je ne m’attends pas à ce que le canular dont je parle ci-dessous crée une vague massive de publications scientifiques, façon Sokal Hoax / Science Wars : démonstration trop pauvre, conflit déjà mené à son terme (et perdu, à mon sens, par les anti-relativistes), sans que personne n’en sorte réellement grandi.

Ce qui reste correct, avant et après

Reste qu’il se publie tout et n’importe quoi dans tous les domaines de recherche (mal) visés par les auteurs, qui, s’ils voulaient monter un peu en honnêteté intellectuelle, reconnaitraient qu’il en va de même dans d’autres domaines de recherche.

N’importe quel scientifique lisant Physica A pourra vous le confirmer : cela m’arrive, et j’ai au moins un exemple récent sous la main dans cette revue, sans parler des exemples innombrables en psychologie – surtout évolutionniste ou sociale – que fournit le blog d’Andrew Gelman. Chacun trouvera ses exemples dans son pré carré éditorial ou dans celui d’à côté.

Reste aussi que la publication scientifique est un marché très mal construit et encore moins bien régulé, que l’indexation des carrières sur ce marché dans un contexte hyper-compétitif aboutit à des absurdités, et que la politisation des thèses scientifiques aboutit à des naufrages intellectuels.

Mais d’ici à ce que l’on produise une évaluation différentielle de la quantité de bullshit d’un domaine de recherche à l’autre, la question de Kieran Healy citée plus haut reste la bonne, et les auteurs du canular ont finalement raison de s’inquiéter pour leurs carrières—inquiétude, comble de l’ironie, performative dans ce contexte.

  1. Full disclosure : je suis au comité de rédaction de Zilsel, bien que ma contribution actuelle à la revue soit proche de zéro. J’espère inverser la vapeur ce mois-ci. []
  2. L’une de ces « propositions » suggère quelque chose qui se rapproche des tortures pratiquées dans les prisons militaires américaines telles qu’Abu Ghraib. []
  3. La raison de cet échec était liée à l’absence de prise en compte par les auteurs de la distinction entre les canulars « anti-prédation » et les canulars « anti-bullshit » opérée en début de billet. []
  4. Au contraire, les auteurs document ce qui ressemble à un réel travail d’édition scientifique, jusqu’aux proposition de devenir eux-mêmes reviewers. []
  5. On peut essayer de comprendre pourquoi, mais cela dépasse visiblement la compétence – et l’intention – des auteurs du canular : ceux-ci se content de dire qu’ils ont ajusté leurs cibles… sans pour autant retirer la sociologie des domaines de recherche qu’ils estiment avoir été « infectés ». []
  6. Troisième, car les auteurs sont parvenus à leurs fins au terme de trois changements de protocole de recherche, peu ou mal documentés, et non intégrés dans l’appréciation du succès final de l’enquête : protocole 1 du canular précédent (échec sur lequel ils ne reviennent pas), protocole 2 de début d’étude (dont l’échec est brièvement évoqué dans la vidéo des auteurs), puis enfin protocole 3 avec leur échantillon actuel de cibles. []
  7. David Engber avance, pour sa part, que la cible réelle du canular est le genre et les gender studies. C’est également vrai, mais la cible latente – le constructivisme sociologique – me semble plus importante à relever que la cible manifeste, bien que cette dernière explique une partie de l’animosité du propos des auteurs. []
  8. Thèse falsifiable, que je crois fausse, mais que je serais tout à fait prêt à accepter sur la base d’une démonstration correcte. []

Elsevier, Springer, ou comment piller la recherche scientifique sans faire de bruit

Les universités, via leurs présidences et leurs conseils, prennent régulièrement des décisions que l’on pourrait qualifier de « géopolitiques », consistant à accueillir (ou pas) des étudiants – mais aussi des personnels, le plus souvent des enseignants – venant de pays présentant des profils particuliers : pays en guerre, ou récemment devenus (encore plus) autoritaires (et/ou théocratiques) suite à un coup d’État, etc.

Dans certains cas plus ou moins bien médiatisés, voire pas du tout, les personnels universitaires s’impliquent dans ces décisions, car ils ont bien conscience qu’une partie de leur ethos professionnel s’y joue, pour le meilleur ou pour le pire.

Il y a, en revanche, et dans mon expérience limitée de la chose, beaucoup moins de personnels mobilisés sur les questions de politique économique ; tout se passe comme si, dans mon milieu professionnel et sur ce point, l’on attendait à ce que des décisions raisonnables soient prises en permanence.

Cette prémisse est évidemment fausse dans un certain nombre de cas plus ou moins flagrants, ce que rien n’illustre mieux que les politiques d’acquisition de (et d’accès aux) revues scientifiques, qui devrait mobiliser l’intégralité des personnels universitaires et scientifiques (et mobiliser aussi leurs tutelles), mais qui ne mobilisent, en pratique, que très peu de monde1.

Exemple 1 : Elsevier

Pour aller vite mais sans déformer la réalité, le marché de l’édition scientifique repose encore largement sur un oligopole construit au fil des quatre derniers siècles2. La société Elsevier, dont j’ai déjà parlé à plusieurs reprises, en est un des plus importants représentants, à la fois par sa taille et par son comportement3.

Tous les problèmes de l’oligopole se manifestent dans l’édition scientifique, mais le plus visible d’entre eux est évidemment celui des prix artificiellement élevés des biens autour desquels s’organisent la collusion : le prix de l’accès aux revues Elsevier pour les entités scientifiques (au premier rang desquelles on trouve les bibliothèques universitaires) est parfaitement obscène.

Cette situation faisait partie des problèmes (car il y en a d’autres, très graves également : lisez la page Wikipedia pré-citée, qui résume assez bien l’état des choses) qui ont amené à la pétition The Cost of Knowledge – pétition qui, à ma connaissance, n’a que très peu mobilisé dans les sciences humaines et sociales4.

Exemple 2 : Springer

L’éditeur scientifique allemand Springer, qui publie toutes sortes de choses plus ou moins scientifiques et selon des principes de publication plus ou moins acceptables5, fait également partie de ces éditeurs scientifiques qui profitent de la situation d’oligopole décrite plus haut.

L’une des ripostes possibles face à un oligopole6 consiste à faire entendre la voix des consommateurs en unifiant leurs pouvoirs d’achat : c’est, en France, la stratégie du consortium Couperin, qui négocie les licences d’accès aux revues scientifiques à des « tarifs de gros », façon Rungis.

Néanmoins, cette stratégie peut, comme toutes les autres, échouer, et amener au résultat suivant, repéré sur Twitter grâce aux retweets de plusieurs amis et collègues :

Il faut noter que la bibliothèque universitaire ci-dessus est loin d’être la seule à avoir dû en venir à l’équivalent d’une décision de boycott : la même chose s’est produite en Allemagne, et même la bibliothèque de l’Université d’Harvard, au budget pourtant exceptionnel, a pratiqué ces ruptures de contrat pour tenter de tirer la sonnette d’alarme sur la situation résumée ici.

Un conflit à bas bruit

Le bras-de-fer qui oppose les éditeurs scientifiques (tels que les deux exemples cités ici, mais il y en a d’autres) aux bibliothèques universitaires mobilisent peu : universitaires et scientifiques apportent parfois un soutien discret à ces décisions, mais font très rarement pression en interne pour que leurs établissements participent concrètement à la lutte contre les pratiques oligopolistiques de l’édition scientifique.

C’est dommage, pour tout le monde ; et c’est également ma conclusion lorsque je vois qu’une plateforme comme HAL ne mobilise que très inégalement les collègues, alors qu’il s’agit, à l’instar de tous les open access repositories, d’un outil de lutte efficace contre les pratiques éditoriales qui desservent l’activité scientifique et sa diffusion.

Deux appels à l’aide

Je termine en (re)formulant deux points que vous aurez lu sans aucune difficulté entre les lignes de ce billet.

D’une part, à titre personnel, et c’est en partie lié à des recherches sur les politiques de propriété intellectuelle, je suis très favorable à toutes les tentatives de faire voler en éclat le modèle sur lequel est actuellement assis (une large partie de) l’édition scientifique. Ce modèle est immoral, inefficace, et sa mort mérite de survenir le plus vite possible.

Faites pareil : portez les propositions anti-oligopolistiques auprès de vos tutelles, de vos conseils scientifiques, de vos bibliothèques universitaires, et utilisez l’open access comme moyen de pression sur les éditeurs qui nous forcent à nous acheter nos propres textes à des prix démentiels, tout en empêchant une plus large diffusion de la connaissance scientifique.

D’autre part, ce billet ne contient que quelques renvois épars vers des sources permettant de se faire une idée de comment fonctionne l’édition scientifique : je n’ai tout simplement pas pris le temps de faire un exposé complet. Si vous en connaissez un exposé détaillé, en français ou en anglais, je suis preneur, afin d’améliorer le récit à très gros traits offert ici.

Voir aussi, du même compte Twitter que cité plus haut, ici et .

Mise à jour, 25 octobre : l’Université de Bonn vient de mettre fin à son contrat avec Elsevier, et j’apprends, toujours grâce à Twitter, qu’il y a une listes des dizaines d’institutions allemandes qui ont rompu leurs contrats avec Elsevier en 2016 et en 2017.

  1. On notera toutefois que ce blog est publié sur une plateforme open access financée par l’État : il y a bien des solutions (des alternatives) aux problèmes évoqués dans ce billet. Full disclosure : je participe à la vie de cette plateforme via l’un de ses conseils scientifiques. []
  2. Une large partie de l’édition scientifique continue de se faire selon des principes économiques et éditoriaux qui ne sont plus valides depuis l’avènement des communications numériques, mais qui continuent de prévaloir par dépendance au sentier. []
  3. Signalons au passage qu’Elsevier appartient au groupe RELX, ex-Reed-Elsevier, qui détient aussi les services LexisNexis et SSRN (et le logiciel Mendeley), et qui vendait aussi des armes sur ses salons d’exposition. []
  4. Celles-ci se sont toutefois rattrapées en participant aux initiatives de migration des revues hors du giron d’Elsevier : voir, par exemple, la revue Sociologie du travail. []
  5. Concrètement, une partie des titres Springer sont publiés à compte d’auteur, sans peer review. Ce n’est pas une situation unique dans l’édition scientifique : en France, L’Harmattan est également un éditeur qui publie dans des conditions se rapprochant du compte d’auteur, et souvent sans aucun peer review (bien que cela varie du tout au tout selon la collection). []
  6. L’autre riposte étant évidemment l’exit : voir la note de bas-de-page précédente où je mentionne l’édition open access financée sur fonds publics. []

1, 2, 3 data

L’exposition 1, 2, 3 data qui s’est terminée avant-hier à la Fondation EDF valait vraiment le détour1 : j’ai à peine eu le temps de prévenir les étudiants de mes cours de statistiques introductives, qui sont, en réalité, des cours de plein de choses basées sur la programmation statistique, dont la visualisation de données.

Le site Web de l’exposition en donne un très bon aperçu, et le catalogue de l’exposition, que j’ai feuilleté rapidement mais pour lequel je ne trouve pas de lien ou de point de vente hors-exposition, semblait bien reprendre les œuvres et projets exposés.

Un projet que j’ai lu en entier sur place est celui de Maral Pourkazemi sur l’accès, l’usage et le contrôle d’Internet en Iran, très réussi :

D’autres œuvres / projets misaient plus sur la 3D et l’effet « wow » des animations, façon demoscene (les vrais nerds savent de quoi il s’agit), et d’autres, fin, misaient plus sur le fait qu’ils traitent de sujets d’actualité comme les migrations forcées, Facebook, les inégalités de revenus, ou encore le vocabulaire (or absence thereof) du clown triste et affligeant qui sert de président aux États-Unis d’Amérique2.

Bref, jetez un coup d’oeil au site Web, ça vaut la peine, pour une fois qu’EDF fournit quelque chose qui n’est pas mal- ou sur-tarifé…

  1. Et en bonus, la découverte du square Récamier, enclave aussi verte que bourgeoise : on se croirait vraiment dans un chapitre des Pinçon-Charlot. Les 9.50 euros de café + Perrier à la terrasse du café de la rue valaient le coup, pour le calme et le beau temps quand je me suis pointé. En super-bonus, le serveur, me voyant lire The Great Leveler, a dû penser que je lisais un roman d’épouvante, et m’a recommandé la dernière saison – en fait, l’avant-dernière – d’American Horror Story. []
  2. Vous aurez peut-être remarqué que je ne parle plus de Donald J. Trump : j’ai terminé mon auto-psychothérapie à son sujet, et mon dossier de documents sur son élection dort tranquillement sur mon disque dur, en attendant l’occasion – qui ne se présentera jamais, p > 0.9 – d’écrire un bref papier là-dessus, à la façon de ce que j’avais écrit sur Barack Obama. []

Garbage in, garbage out : portrait de Parcoursup en CRM

Prélude

Cela fait des mois que j’essaie d’extérioriser mon exaspération vis-à-vis de Parcoursup, des débats – hum, non, des tweets – sur Parcoursup, et surtout des prises de position sur (contre) Parcoursup, parfois portées par ces mêmes personnes démissionnaires dès qu’il s’agit d’accomplir la moindre tâche attenant à la logistique du cursus des étudiants1.

J’ai donc décidé de m’y coller sous la forme d’un long billet vaguement cinglant, où vous n’apprendrez rien de bien technique, ni de bien utile pour concevoir un meilleur système de répartition des étudiants au travers des filières universitaires : désolé, mais comme l’immense majorité du personnel de l’enseignement supérieur, je n’ai absolument pas l’expérience et l’expertise nécessaires à cette tâche2.

C’est parti.

De grandes découvertes

La réforme du système APB (« admission post-baccalauréat »), désormais connu sous le nom de « Parcoursup », a été l’occasion, cette année, de faire quelques grandes découvertes, qui resteront à jamais gravées dans l’histoire des prises de conscience collectives.

La première d’entre elles est que, dans la France du 21e siècle, dont les « grandes écoles » ne sont pas exactement une nouveauté, la moitié des élèves cherche à faire exactement ce que les schémas institutionnels (famille, école, emploi) conseillent de faire, c’est-à-dire intégrer une formation sélective3.

Étonnant, non ? « Tout se passe comme si » les parents d’élèves – qui avaient déjà dû étudier la « carte scolaire »4 – et les enseignants de Terminale avaient eu vent des inégalités d’investissement entre universités et grandes écoles.

C’est proprement renversant.

Autre grande découverte, il y a un nombre de places limitée dans lesdites filières sélectives, et même, ô surprise, dans les universités5, et ce alors même que (presque) tout a déjà été essayé pour réformer la capacité d’accueil dans l’enseignement supérieur suite à la massification de ses usagers :

  • Financer correctement l’Université et recruter suffisamment d’agents à hauteur de l’enjeu : proposition à l’étude depuis quelques décennies. Voir aussi : non-réformes fiscales successives.
  • Dégrader le service en explosant la capacité d’accueil : fait. Voir aussi : maisons d’arrêt6 et services d’urgences des hôpitaux publics, dont les personnels et les usagers débordent d’enthousiasme pour cette méthode de traitement du problème.
  • Faire fusionner n > 1 étudiants en une seule et même personne, ou bien faire enseigner chaque enseignant dans n > 1 salles : à l’étude7.
  • Occuper une partie du premier étage de Sciences Po en signe de soutien aux masses populaires estudiantines : fait8.
  • Faire théoriser la démocratisation des études supérieures par une ex-directrice de l’École Normale Supérieure : fait9.
  • Faire peser la responsabilité de l’échec du système sur les personnels : en cours (méthode dite « jurisprudence Sarkozy du 22 janvier 2009« ).

Un fiasco

Ne manquait au tableau qu’un fiasco, que l’on pourrait décrire par :

Par charité toute chrétienne, je vais laisser les Publications de la Vie Catholique (connues pour leur radicalité révolutionnaire) conclure sur le sujet : « Parcoursup : zéro sens de l’orientation ».

Bon, Télérama a parlé, c’est plié, rentrez chez vous : c’est foiré12. De Parcoursup 2018, il restera quelques bonnes blagues de geek, mais pas grand chose d’autre.

Un algorithme ? Non, un CRM

Enfin, dernière découverte : personne ne semble avoir compris, à l’issu du débat sur Parcoursup, ce qu’est un algorithme—mais cela n’a, en soi, aucune importance : Parcoursup n’est pas une « procédure de calcul aboutissant à un résultat inambigu (et souvent unique, dans le cas des algorithmes dits déterministes) »13.

Parcoursup est un CRM, c’est-à-dire une plateforme de gestion de la clientèle, moins la possibilité d’appeler un numéro surtaxé :

  • Allez donc voir dans un secrétariat à quoi ressemble l’interface de Parcoursup pour un(e) secrétaire de Licence, et dites-moi que cela ne ressemble pas comme deux gouttes d’eau aux logiciels d’un call center.
  • Côté « client », pas mieux, même tableau : l’UI est proche de celle d’une plateforme de compagnie d’assurance (« déclarer un sinistre ») ou de complémentaire santé (« téléverser mes justificatifs »).

Attention, je ne dis pas que le débat sur les algorithmes classants n’est pas légitime : il fallait mener ce débat sur APB14, il faut parler des Weapons of Math Destruction, et il faudra imposer la transparence15 sur les méthodes locales de classement : les craintes à leur sujet sont légitimes, ce qui justifie, à mes yeux, les revendications syndicales et les inquiétudes exprimées çà et sur le sujet16.

En revanche, je dis bien que le problème posé par Parcoursup est très largement déconnecté de celui de la « gouvernementalité algorithmique » et autres gimmicks concepts inutiles ici, non pas parce qu’ils seraient dénués de sens (ils en ont parfois), mais parce qu’il faudrait peut-être être capable de sortir un bilan de terrain avant d’aller donner l’impression d’avoir fumé la moquette et la moitié des cours de Dits et écrits avec17.

Examen de rattrapage

Toutes ces remarques étant faites, à quelles questions aimerais-je obtenir une réponse en 2019, lorsqu’il sera à nouveau de remplir les universités à 100–150% de leur capacité d’accueil, une fois épuisés les recours aux artifices comptables méthodes plus ou moins honnêtes pour faire varier celle-ci ?

Dans le désordre :

  1. Quand réfléchira-t-on sérieusement à une indexation des créations de postes (et a fortiori de la capacité d’accueil) dans les filières en tension et dans les autres, sur les candidatures des futurs étudiants et/ou sur les effectifs actuels dans les universités ?
  2. Quand réfléchira-t-on à une réforme du baccalauréat qui fasse enfin son sort à la croyance généralisée dans l’idée que le niveau baisse, et qui produise des filières pertinentes en termes d’orientation plutôt que socialement classantes ?
  3. Quand disposera-t-on des données fiables18 pour classer, trier, sélectionner les candidats aux études supérieures en local, ce que les universités faisaient, font et feront, d’une manière ou d’une autre19, quels que soient le cadre légal ou l’intention politique conjoncturelle ?

J’ai mis les termes-clé du sujet en gras, au cas où cela puisse aider, même si je n’ai aucun espoir dans l’avenir, sauf peut-être sur le second point. L’an prochain, je m’attends plutôt à un nouveau débat aussi stérile que le premier sur la réintroduction des voeux20, sur les vertus du (non-)tirage au sort, etc. Des heures de débat passionnant en perspective.

Rien ne changera tant que les réformes seront construites à rebrousse-poil des personnels, mais bon, si c’est ça ou augmenter les impôts, y compris locaux, le choix semble vite vu, et il semble qu’il ait été fait de manière quasi-identique sous toutes les couleurs politiques des décennies passées21.

C’est dommage, pour tout le monde, et surtout pour les générations à venir, enfin, surtout pour celles qui ne pourront pas se payer le luxe de fuir l’Université. Le seul progrès dont celles-ci auront bénéficié depuis le début des années 2000 aura été de ne plus avoir à s’inscrire à l’Université sur Minitel. Pour le reste, …

  1. Premier avertissement — Il est presque inutile de le préciser ici, mais je ne vais évidemment pas m’appuyer sur ma seule expérience locale de Parcoursup : une large partie de ce que je vais observer provient de conversations éparses avec des collègues enseignant dans cinq (j’ai compté) grandes villes françaises. []
  2. Deuxième avertissement — Je signale d’emblée que mon expérience locale de Parcoursup est atypique, puisqu’elle est celle d’une école de science politique bilingue anglais/français, et qui n’est ni un Institut d’Études Politiques, ni un établissement du secteur public, et dont l’une des deux Licences est sélective. []
  3. Lorsque François Vatin évoque cette évidence dans cette émission de radio, ses deux interlocuteurs – et l’animateur de l’émission – ont une réaction intéressante, car typique du débat sur la séparation entre grandes écoles et universités en France : ils ignorent complètement le propos et passent à autre chose. []
  4. Dont il faut noter que l’on peut forcer les gens à la respecter, mais que ce n’est pas aisé : cela demande un minimum de courage politique. []
  5. Filière de psychologie dans une université français, 2018 : environ 1 800 candidatures recevables ; capacité d’accueil à environ 1 200 ; admissions à environ 1 400 (on compte sur les étudiants qui ne viennent jamais). Je cite de mémoire. []
  6. En centrale, on me dit que ça va, tout baigne. []
  7. Je vous promets que la seconde proposition est sérieusement à l’étude. Voir aussi : cours sur DVD en PACES et autres techniques de pointe pour mettre en œuvre l’équivalent de la « Ferme des Mille Vaches » en première année de Licence. []
  8. Full disclosure : j’enseigne à Sciences Po (dans un bâtiment différent). []
  9. La même a publié une tribune que les étudiants pourront lire si leur bibliothèque universitaire est abonnée au Monde. Idem pour cette autre tribune de Pierre Mathiot, ancien directeur de l’IEP de Lille, et ex-candidat à la direction de Sciences Po. []
  10. Voir aussi : le Parcoursup des filles, et celui des lycées de banlieues, qui savaient, pour les seconds, que le truc allait se retourner contre eux, comme d’habitude. []
  11. Intervention de chercheurs qui pointe le problème principal : quand on retire l’algorithme d’une méthode de sélection, il faut être clair sur ce que l’on met à la place. Si c’est un système de matching à deadlines successives, alors on peut s’attendre à ce que les victimes usagers usent de stratégies pour ne pas toujours révéler immédiatement leurs préférences : c’est exactement ce qui s’est passé. GIGO. []
  12. Pour la version moins politically correct, mais qui, fondamentalement, dit la même chose (la comparaison ne va pas leur plaire…), voir ce tract de La Brique, un canard lillois qui fait le boulot quand il faut critiquer la sélection sociale à l’Université. J’héberge le tract ici jusqu’à ce qu’il soit en ligne sur le site Web officiel. []
  13. Une définition plus complète évoquerait aussi la finalité du procédé de calcul que décrit un algorithme, généralement une visée prédictive ou classificatoire. Parcoursup n’est rien de cela : c’est un jeu de chaises musicales étalé sur six mois, avec la dose d’aléatoire et d’entropie qui va avec. []
  14. Ce qui a été fait, au moins au moment de la publication de son code-source (voir aussi ici et ) : on a ainsi pu découvrir à quel point PL/SQL est un langage atroce. []
  15. L’initiative AlgoTransparency de Guillaume Chaslot va bien plus loin que le sujet de ce billet, et vaut vraiment le détour. Aucune compétence technique n’est requise pour comprendre le problème. []
  16. En revanche, soyons clairs, il ne faut pas écouter Frédéric Beigbeder sur ce sujet ou, jusqu’à preuve du contraire, sur n’importe quel autre. []
  17. L’impression, j’ai dit : ne me faites pas dire ce que je n’ai pas écrit. []
  18. C’est le scoop de ce billet, caché dans une note de bas-de-page car personne ne les lit : les données Parcoursup sont parcellaires au point d’être quasi-inutilisables dans certains cas, et sont même parfois arithmétiquement douteuses, avec des moyennes annuelles qui ne reflètent pas les moyennes trimestrielles. Ça pourrait s’attaquer au tribunal administratif, tout comme les classements ex æquo, pratiqués de facto malgré leur interdiction, mais bon… Personne ne lit les notes de bas-de-page, je vous dis. []
  19. « People-sorting is what educational systems do« . Dans le cas de Parcoursup (mais pas des ECN, par exemple), qui dit classement dit sélection, d’où les attaques principielles que vous aurez lues ici, , ou dans plein d’autres des références de ce billet. Reste que qui classe trie (cf. lettres de recommandation), et qui trie sélectionne (cf. obtention du diplôme) – bref, le fond de commerce, expression provocatrice employée ici à dessein, de tout dispositif éducatif après l’âge légal de fin de la scolarité obligatoire. []
  20. Il faudra aussi voir ce qu’il adviendra du débat, beaucoup plus intéressant de mon point de vue, sur la remise à niveau en première année de Licence. []
  21. L’autre solution serait de tout privatiser, pour finir avec un système ultra-classiste (et par voie de conséquent, raciste jusqu’à la moelle). En France, on trouvera toujours 2–3% de la population pour soutenir cette idée, mais heureusement jamais plus—pour le moment. []