Encore un billet sur l’édition scientifique, et presque pas, au final, sur ce que Pluckrose, Lindsay et Boghossian pensent avoir fait (la démonstration pratique d’un problème épistémologique) dans ce canular dont vous aurez peut-être entendu parler.
Ce billet, qui dit presque la même chose que ce texte, mieux rédigé, de David Engber (trad. fr.), contient un nombre inhabituellement élevé de liens vers des tweets, Twitter étant devenu le champ de bataille favori des universitaires (j’y reviendrai en fin de billet).
Le canular scientifique – c’est-à-dire l’article sans queue ni tête envoyé à une revue et accepté pour publication par cette même revue – est, à mon sens, une forme de démonstration par l’absurde au moins aussi valide que la démonstration par l’absurde en logique ou en mathématiques.
Ce qui ne signifie pas que tous les canulars scientifiques se valent : tous ne font pas “gloup gloup” de la même manière, et en conséquence, tous n’atteignent pas aussi bien leur cible. Dans le cas du canular de Pluckrose, Lindsay et Boghossian, je pense, pour faire court et simple, que l’on a affaire à un sous-produit, un canular discount, en quelque sorte, sans goût et sans réelle portée.
Le canular en quelques lignes
Il y a plusieurs types de canulars. Ceux du type “Get Me Off Your Fucking Mailing-List” ont pour cible les éditeurs scientifiques dits “prédateurs”, qui ne sont éditeurs scientifiques qu’en surface : derrière, il n’y a rien, sinon la volonté de récupérer un peu d’argent (souvent public). Dans ce cas de figure, le but n’est pas de montrer que le peer review de ces revues fonctionne mal, mais plutôt qu’il n’y a aucun peer review.
D’autres canulars, dont ceux de la revue Zilsel, vont plus loin : ils visent des revues qui se disent scientifiques, et qui ont tous les attributs des revues scientifiques, mais qui publient quand même n’importe quoi. Le carnet de la revue documente plusieurs exemples, en sciences sociales et en philosophie—si c’est bien en philosophie qu’il faut classer les soi-disantes “Badiou Studies“.
Le dernier canular scientifique en date appartient à cette seconde catégorie : ses auteurs, un universitaire et deux essayistes, ont visé 20 (!) de revues “cultural studies, or identity studies, or critical theory” (!!), c’est-à-dire des domaines de recherche mal balisés situés au croisement entre les humanités et les sciences sociales, et ont réussi à faire publier des idées aussi atroces que stupides.
À travers ce canular, baptisé “Sokal Squared” par les médias, les auteurs pensent avoir blessé à mort ce champ mal défini qu’ils choisissent d’appeler les “Grievance Studies“ : en effet, les revues visées auraient en commun l’objectif d’explorer les différentes manière de redonner une voix aux populations marginalisées, au premier rang desquels les femmes.
Je pense que le mode opératoire des auteurs souffre d’un sérieux problème de méthode (d’où les points d’exclamation un peu plus haut), mais surtout, que leur conclusion est un non sequitur complet.
Un gros problème de méthode
Commençons par le commencement : il y a de sérieux problèmes de méthode dans ce canular, qui n’est que la version revue et corrigée d’un canular scientifique raté, commis par deux des auteurs l’an dernier.
La spécificité de ce canular est d’avoir visé un nombre très important de revues, ce qui aurait apparemment demandé un an de travail à ses auteurs, et certainement au moins autant en temps cumulé aux reviewers des articles — enfin, si ce travail a été fait, ce qui ne semble pas être mis en cause ici.
On serait donc sur une cible scientifique inattaquable sur la forme, mais pas sur le fond. Revenons à la définition du fond, car les auteurs donnent dans leur texte une liste plus complète des domaines de recherche visés (c’est moi qui souligne) :
grievance studies, including (feminist) gender studies, masculinities studies, queer studies, sexuality studies, psychoanalysis, critical race theory, critical whiteness theory, fat studies, sociology, and educational philosophy.
À ce stade, il faut remarquer que les auteurs ne savent pas vraiment à qui ils s’en prennent. D’une part, les domaines visés sont hétérogènes et (très) mal définis ; d’autre part, comme l’ont fait remarquer plusieurs personnes sur Twitter, aucune des sept revues de sociologie visées n’a été “infectée” par le canular.
On pourrait s’attendre à ce que les auteurs en tirent des leçons, mais ce n’est pas ce que fournit leur article-rapport, qui cite très sélectivement leurs données sans aucun recul sur ce que les échecs de leur protocole de recherche (pseudo-articles rejetés) permettrait de dire en rapport à ses succès (pseudo-articles acceptés). Au lieu de ça, les auteurs se contentent de pavoiser sur le fait d’avoir réussi à faire publier des inanités.
En statistiques, on appelle ça “échantillonner sur la variable dépendante” : c’est une erreur de base, qui montre que les auteurs n’ont multiplié les articles-canulars que pour maximiser leur nombre total de succès alors que leur objectif initial aurait dû pouvoir être atteint à partir d’une expérience cruciale.
Partant de là, toute une partie de l’argumentation de Pluckrose, Lindsay et Boghossian s’effondre, puisqu’au lieu de démontrer la faible scientificité des domaines de recherche visés (faiblesse épistémologique), la méthode employée démontre plutôt, en réalité, le degré élevé de charité académique des reviewers ayant eu à expertiser les pseudo-articles (faiblesse “épistémique”, en quelque sorte).
C’est sur ce dernier aspect du travail scientifique que les auteurs ont vraiment travaillé, mais apparemment sans s’en rendre compte (ou sans l’admettre), et en tirant, du coup, des conclusions absurdes de leur expérience.
Un non sequitur magistral
Continuons par l’examen des conclusions des auteurs (c’est à nouveau moi qui souligne) :
Based on our data, there is a problem occurring with knowledge production within fields that have been corrupted by grievance studies arising from critical constructivism and radical skepticism.
Les cibles évoquées ici ne sont plus celles du protocole de recherche initial : ce sont des cibles supplémentaires, pas du tout réductibles aux revues “infectées” par le canular, et rajoutées post facto, après obtention des résultats.
Il est presque triste, pour les auteurs, de se planter si clairement dans la démonstration. Certes, leur méga-canular a plu à beaucoup de monde, et devrait continuer de faire rigoler dans les chaumières scientifiques, mais Dan Drezner et moi sommes loins d’être les seuls à avoir remarqué le double problème de méthode et de raisonnement souligné ici : au contraire, à peu près tout le monde semble arriver aux mêmes conclusions.
Et les auteurs en sont à leur deuxième essai ! C’est franchement un peu triste.
Par ailleurs, je pense qu’au moins un des auteurs sait ce qu’il fait : de mon point de vue, Paul Peter Boghossian semble avoir appris de son attaque frontale contre le relativisme que ses arguments étaient assez simples à faire tomber, et renomme, du coup, ses ennemis favoris quand il bénéficie d’une nouvelle fenêtre d’opportunité pour s’en prendre à eux.
(Mise à jour, 16 octobre : sauf qu’en fait, non, le paragraphe ci-dessus étant basé sur une confusion entre Peter Boghossian, de Portland State, et Paul Boghossian, de la NYU. Du coup, pas de lien indirect effectif entre l’attaque contre le constructivisme sociologique et le relativisme épistémologique, même si dans l’absolu, c’était un pont possible de l’argumentation.)
Du coup, je trouve que ce tweet de Kieran Healy pose la bonne question au sujet de ce canular, question qui se pose dès que l’on se trouve face à une méthode de démonstration qui laisse autant de trous béants dans le raisonnement :
The question is, what do you hate? And why is that?
La réponse, dans le cas présent, tient à mon sens dans cette détestation un peu infantile (pour ne pas dire idiote) du constructivisme sociologique, que les auteurs appellent plus haut “constructivisme critique” pour noyer le poisson, mais personne n’est vraiment dupe : les auteurs, bis repetita, ne savent pas à qui ils s’en prennent.
C’était déjà le cas, je pense, lorsque Boghossian, et bien d’autres, s’en prenaient au relativisme des science studies, sur la base d’accusations qui faisaient converger toutes les formes de relativisme vers une seule forme indistincte de nihilisme épistémique (voire culturel).
(Mise à jour, 16 octobre : même correction que plus haut.)
En tirer quelque chose ?
Je me suis demandé, pour terminer, si l’on pouvait sauver ce canular, en réécrivant une (grosse) partie du raisonnement ou en modifiant la présentation des résultats, et je n’en suis pas vraiment certain.
On pourrait, dans un sens, se convaincre que Pluckrose, Lindsay et Boghossian ont travaillé à démontrer que le peer reviewing – dont ils déclarent très clairement que ce n’est pas leur cible – est, dans sa forme actuelle, broken beyond repair, et que certains des exemples les plus flagrants se manifestent dans les domaines de recherche visés par les auteurs.
Néanmoins, cela n’est pas du tout démontré ici, et les données requises pour tester cette hypothèse (à commencer par un groupe-contrôle) n’ont pas été collectées. On peut même supposer que, vu la pusillanimité des auteurs, ils auraient formulé cet argument au moindre signe allant dans le sens de cette conclusion, mais rien de cela ne transparaît dans leur texte.
A contrario, on pourrait choisir de provisoirement mettre de côté le mode opératoire des auteurs, et affirmer que les conclusions des auteurs – il y a quelque chose de pourri au royaume des “cultural whatever-that-means studies” – méritent d’être formulées, car elles contiennent une part de vérité suffisante pour que l’on s’interroge à leur sujet.
Ce mode de raisonnement serait intéressant à observer, chez les auteurs du canular en particulier, si ceux-ci ou d’autres venaient à essayer de “sauver” leur enquête des critiques formulées à son égard. Charitablement, ce serait une belle démonstration de l’hypothèse Duhem-Quine. Moins charitablement, ce serait un pur sophisme, du type, précisément, de celui que les auteurs voulaient mettre à terre.
Enfin, je ne m’attends pas à ce que le canular dont je parle ci-dessous crée une vague massive de publications scientifiques, façon Sokal Hoax / Science Wars : démonstration trop pauvre, conflit déjà mené à son terme (et perdu, à mon sens, par les anti-relativistes), sans que personne n’en sorte réellement grandi.
Ce qui reste correct, avant et après
Reste qu’il se publie tout et n’importe quoi dans tous les domaines de recherche (mal) visés par les auteurs, qui, s’ils voulaient monter un peu en honnêteté intellectuelle, reconnaitraient qu’il en va de même dans d’autres domaines de recherche.
N’importe quel scientifique lisant Physica A pourra vous le confirmer : cela m’arrive, et j’ai au moins un exemple récent sous la main dans cette revue, sans parler des exemples innombrables en psychologie – surtout évolutionniste ou sociale – que fournit le blog d’Andrew Gelman. Chacun trouvera ses exemples dans son pré carré éditorial ou dans celui d’à côté.
Reste aussi que la publication scientifique est un marché très mal construit et encore moins bien régulé, que l’indexation des carrières sur ce marché dans un contexte hyper-compétitif aboutit à des absurdités, et que la politisation des thèses scientifiques aboutit à des naufrages intellectuels.
Mais d’ici à ce que l’on produise une évaluation différentielle de la quantité de bullshit d’un domaine de recherche à l’autre, la question de Kieran Healy citée plus haut reste la bonne, et les auteurs du canular ont finalement raison de s’inquiéter pour leurs carrières—inquiétude, comble de l’ironie, performative dans ce contexte.
