#INISTGATE

Vous aurez peut-être déjà entendu parler de l’affaire Elsevier, cet éditeur scientifique qui est arrivé à faire se mettre en colère des mathématiciens (parmi d’autres). Aujourd’hui, c’est au tour de l’INIST d’être au centre d’une controverse qui, comme les autres, n’ira nulle part tant que les systèmes de publication (qui incluent les chercheurs eux-mêmes et les revues) ne sont pas réformés1.

Le problème avec l’INIST est très simple : lorsque je publie un texte à titre de militant associatif dans une revue en libre accès, je ne m’attends pas à ce que l’INIST le mette en vente2. C’est pourtant ce dont je me suis rendu compte récemment, ce qui m’a rappelé l’existence de leur service Refdoc, l’équivalent du Minitel pour la publication scientifique à l’heure d’Internet. L’INIST a confirmé par email mon droit d’opposition à une diffusion payante de mon texte — dont acte.

Voilà qui en dit long sur l’ambivalence des politiques nationales en matière d’accès scientifique, et sur les errances du modèle dominant en matière de publication scientifique. Je ne sais pas par où il faut commencer pour décrire les problèmes du modèle actuel, mais plusieurs sont assez bien documentés : on entend ponctuellement parler des difficultés du peer review ou des biais de publication, par exemple.

Ces problèmes montrent bien que, sans s’y résumer, le problème du profit dans l’édition scientifique est aussi lié à celui de la fraude, ce qui devrait être une condition suffisante pour s’en soucier. Mais si la plupart des problèmes scientifiques ont cette double dimension éthique et internationale, celle qui concerne l’INIST est un enjeu hexagonal qui peut se résumer à une violation massive du droit moral des auteurs ne souhaitant pas que leurs textes fassent l’objet d’une diffusion commerciale3.

Le CNRS a été réformé à tort et à travers, mais apparemment pas de manière à sérieusement interroger certains de ses programmes ; en tout cas, je n’y vois pas de place pour un service de revente de textes scientifiques sans accord avec la communauté qui les produit.

  1. À noter aussi qu’une partie des agents réformateurs de ces systèmes est extérieure ou périphérique au champ scientifique. []
  2. J’ai vérifié entre-temps que l’éditeur de la revue n’avait rien signé avec l’INIST. []
  3. L’opposition à la commodification est aux origines de plusieurs mouvements “free” (software) ou “open” (source, access, science, data, knowledge, etc.), sans que ceux-ci s’y résument. []

Évaluation et rigueur scientifique : une contribution

Il y a quelques semaines, j’avais lancé un appel à témoignage sur l’efficacité scientifique de la nomination discrétionnaire, autour duquel s’est noué un court dialogue. Je reproduisais le geste d’un autre blog de la plateforme Hypothèses, qui a déclenché un dialogue plus conséquent et sur lequel j’ai quelques remarques à soumettre, en retard.

Afin d’éviter tout conflit d’intérêt, je signale tout de suite que je connais une large partie des participants à la discussion (appelés “commentateurs” dans ce qui suit), soit par Hypothèses, soit par la blogosphère hors-Hypothèses. En plus de cela, l’auteur de l’article cité au sujet des résultats positifs dans les revues scientifiques est… un ancien collègue de bureau, connu à Édimbourg (et nous avons naturellement discuté de sa recherche en long et en large, des données aux interprétations en passant par la méthode d’analyse).

Je précise aussi immédiatement que rien, dans ce qui suit, ne peut être légitimement interprété comme une critique en creux de la recherche scientifique actuelle. Ce qui me pose problème dans la recherche actuelle concerne les conditions du travail scientifique, et l’enseignement a renforcé cette perception des choses chez moi ; les chercheurs eux-mêmes ont peu de prises sur ces conditions de travail, et se donnent peu les moyens de modifier le statu quo—mon sentiment militant se forme sur ces enjeux stratégiques, “de forme”. Sur les questions scientifiques, “de fond”, je suis résolument optimiste, et je trouve que ma discipline (et les autres que je parcours en quasi-dilettante) se porte bien, voire très bien.

La discussion contient deux questions :

  1. Celle de l’appel à témoignage : “voyez-vous autour de vous des indices, des cas précis qui vous font penser que ‘la rigueur scientifique se relâche’ ?”
  2. Celle qui critique cette méthode d’élucidation : peut-on répondre à la question à partir d’un appel à témoignage ?

Pour ma part, je pense qu’il faut répondre “non” aux deux questions. Ce billet contient mes réponses détaillées, et je répondrai à une troisième question pour terminer.

Ma conclusion générale est la suivante : l’évaluation n’a pas entraîné de perte en termes de rigueur scientifique, celle-ci étant certainement plutôt en progression ; en revanche, elle fait apparaître un hiatus entre l’objectif de rigueur scientifique et les moyens que l’on se donne actuellement pour l’atteindre, et c’est sur ce point qu’il faut envisager des réformes profondes1. Plutôt qu’un dévoiement de l’activité de publication par l’évaluation qui causerait une perte de rigueur scientifique, je pense plutôt qu’on assiste à la disjonction entre ces trois sphères d’activité, qui ne se reconnaissent plus les unes dans les autres.

  1. Non, la rigueur scientifique n’est pas en chute libre, et l’inverse se vérifie même dans mon expérience des choses, parce que je ne place pas mon expérience dans les mêmes supports que les commentateurs.

    L’appel à témoignage contient un biais en plaçant la “rigueur scientifique” toute entière dans les publications scientifiques des chercheurs, ici tous titulaires. Dans ma discipline, la recherche avance naturellement par ces publications, mais aussi, de manière substantielle, par les thèses de doctorat. Ces thèses fournissent une large fraction des publications scientifiques de la discipline. Pour preuve, j’ai dépouillé systématiquement les années 2005 et 2006 de la revue Politix2 : les publications de non-titulaires, et de doctorants en particulier, représentent une large proportion des articles3.

    Sans aller plus loin dans la lecture des résultats, qui ne sont pas plus solides que ça, je propose simplement de considérer, par induction, que la “rigueur scientifique” doit s’évaluer d’abord sur ces recherches doctorales. J’aurais pu arriver à la même proposition par déduction : si la rigueur scientifique est un trait acquis au cours de l’expérience professionnelle que constitue la recherche scientifique, et si l’on présume que cet attribut ne régresse jamais chez les individus4, alors la rigueur scientifique est très sensible aux conditions initiales et doit donc se mesurer de prime abord chez les jeunes chercheurs.

    À ce stade du raisonnement, il me faut des données, et je ne peux parler que de mon expérience personnelle en la matière, sachant que cette méthode est suffisamment fiable pour le présent exercice de style (voir ma deuxième réponse). Mon expérience m’indique que les recherches doctorales de la décennie 2000-2010 ne sont pas moins rigoureuses que les recherches doctorales de la décennie 1990-2000, voire qu’elles sont plus rigoureuses en termes de méthodes de recherche si l’on décide de les comparer avec les recherches doctorales de décennies antérieures, car les méthodes d’enquête et les réflexions épistémologiques ont gagné en précision sur cette période5. Ces recherches remplissent ensuite les revues scientifiques. À moins de supposer que le changement de support peut affecter la rigueur scientifique des résultats, je pense donc qu’il est impossible d’observer une perte de rigueur scientifique dans ma discipline (la science politique).

    Comment expliquer, alors, l’impression inverse ? Il y a au moins trois explications : (1) un biais psychologique : par négativité, on ne retient que les cas qui semblent indiquer une perte de rigueur ; (2) un artefact statistique : s’il y a plus de recherche en général, le volume de recherche peu rigoureuse a mécaniquement augmenté, même si la recherche rigoureuse (voire plus rigoureuse) a augmenté plus rapidement ; (3) une combinaison, probable, des deux premières explications.

  2. Non, l’appel à témoignages ne peut pas répondre à la question qu’il pose. Mais ce n’est pas important, car il a été conçu sur le mode d’une enquête-pilote, qui ne demande pas d’échantillon représentatif. Voilà qui devrait mettre les deux camps de commentateurs d’accord.

    Deux remarques, cependant. D’une part, le texte peut être aussi trompeur que les chiffres. Par exemple, quand Sylvain Piron écrit que “le plagiat prolifère dans les travaux universitaires, et plus encore la tolérance à l’égard de ces pratiques”, c’est une proposition correcte, à condition de ne pas lire que le plagiat augmente là où il est écrit qu’il prolifère. La confusion sémantique est facile, et elle est sous-tendue par l’hypothèse d’arrière-plan que les nouvelles technologies rendent le plagiat plus simple—cette dernière proposition est vraie, mais plus simple ne signifie pas plus courant ; les risques de détection, et donc de sanction, ont augmenté de pair, et rien ne permet de renverser l’hypothèse nulle (le plagiat est une pratique stable) dans un sens ou dans l’autre.6.

    D’autre part, si l’enquête-pilote ne sert pas à répondre à la question qu’elle pose, alors c’est qu’elle doit servir à la reformuler pour avancer vers une démonstration. Or, la discussion n’a pas tendu vers cet objectif. Un exemple : Pablo Achard avance que les résultats négatifs sont intéressants mais qu’on en connaît pas leur devenir. C’est vrai : seules quelques disciplines sont dotées de revues publiant les résultats négatifs, et dans les autres, on peut observer, statistiques à l’appui, un biais vers les résultats positifs et significatifs. Il faudrait mieux comprendre les effets des standards de significativité : pour faire court, un résultat à p < .05 doit en fait s'interpréter comme un résultat à p < .07. Tout est relatif, ce qui n'interdit pas que certaines propositions soient vraies ou fausses. Une discipline rigoureuse reconnaît ce phénomène et en tire les conséquences dans ses méthodes d'enquête : voilà un outil possible pour reconnaître la rigueur scientifique7. La discussion suite à l’appel à témoignage n’a pas dégagé de proposition semblable ; or, le maintien de ce que Sylvain Piron appelle “les vieux principes de l’éthique scientifique” passe par ces propositions intermédiaires.

La troisième question posée par l’initiateur de l’appel à témoignage demande s’il existe dans chaque discipline des normes consensuelles sur ce que doit être une publication.

À cette question, on peut répondre “oui” parce que différentes normes consensuelles sont observables lorsque l’on compare dans l’espace et dans le temps. En France, par exemple, certaines revues comme ARSS publiaient des articles de 40 pages, voire plus ; certaines revues continuent de le permettre, mais en règle générale, et à l’échelle d’une discipline, le volume individuel des articles a diminué pour faire place à plus d’articles. Cette tendance ne va pas s’inverser : le champ scientifique contient plus de chercheurs et plus de revues, mais sa capacité de reviewing augmente plus lentement que ces deux variables8.

Pour inverser la tendance, il faudrait se fixer une ligne de conduite malthusienne en limitant la publication à n articles/an, et en forçant les publiants à évaluer à leur tour. Cela conduirait aussi vers des publications parfois plus longues, et plus souvent citées (à l’heure actuelle, une large fraction des publications n’attire aucune citation ou presque). Cette solution ne correspond ni au fonctionnement traditionnel des revues scientifiques, ni au régime d’évaluation qui se met en place. Pourtant, elle serait viable sur le long terme, et plus efficace scientifiquement, car la taille actuelle des articles est anachronique9.

Il existe des normes consensuelles, donc, sur ce que doit être une publication scientifique, mais le fondement de ces normes n’est lui-même pas, ou plus suffisamment, scientifique. Le sentiment d’être à la merci de l’évaluation provient notamment de cette disjonction entre l’état du champ et ses règles de fonctionnement, et les méthodes bibliométriques nous ont pris de court en valorisant un volume élevé de publications taillées selon des critères qui ne se justifiaient déjà plus, ce qui fait qu’elle paraîtra toujours injuste tant que le format de la recherche reposera sur des schèmes bancaux10. Pour caricaturer, je pense – mais ça n’engage que moi – qu’en sciences sociales, les thèses pourraient faire 300 pages de moins et les articles 30 pages de plus lorsque c’est nécessaire11, ce qui m’incite d’ailleurs à penser qu’on devrait définir la catégorie intermédiaire de la “note de recherche” beaucoup plus formellement que ce n’est le cas à l’heure actuelle (idée à creuser).

Je n’ai pas le sentiment, dans cette contribution, d’avoir clos le débat—encore heureux ! Mais j’espère bien avoir présenté quelques idées qui feront ressortir le point de vue du jeune chercheur, par ailleurs encore très inexpérimenté. De ces idées, il ressort que l’évaluation et la rigueur scientifique doivent être définies de manière plus large pour comprendre la situation actuelle ; et de cette définition plus large, je pense qu’il ressort une nécessité de réforme bien plus transformatrice que conservatrice. Au sein de la société de l’audit, la science possède l’avantage de posséder un recul critique sur les supports de sa production scientifique, et de pouvoir les modifier assez librement ; à elle d’avancer sa propre mesure actualisée de la production scientifique si elle ne souhaite pas perdre son autonomie en laissant des acteurs étrangers au champ accomplir cette transformation à sa place.

  1. J’ai cherché à caractériser idéologiquement cette conclusion, mais j’oscille entre Marx, pour le côté matérialiste où tout dépend des moyens de production, et Taylor, pour l’organisation scientifique du travail (scientifique)… []
  2. La revue Politix est une solution de facilité, grâce aux biographies des auteurs affichées dans Cairn ; elle contient certainement un biais général ou ponctuel. []
  3. Les notes de lecture étaient exclues du dépouillement. []
  4. Autrement dit, que la rigueur scientifique est une fonction croissante non monotone chez ses agents… ! []
  5. À noter que j’introduis un biais en considérant comme impossible que ces méthodes et réflexions aient produit un résultat régressif, c’est-à-dire une déperdition de rigueur. L’idée de progrès scientifique en Occident exprime systématiquement ce biais. []
  6. Le même débat existe sur le niveau des étudiants : toutes les conditions sont réunies pour qu’individuellement, on succombe à un effet d’optique en observant que le niveau baisse, alors que les données non anecdotiques indiquent l’inverse—et même de manière anedotique, les salles de classe d’autrefois avaient des écriteaux rappelant que le crachat était interdit… []
  7. Disclaimer : je reste, depuis mon séjour à Édimbourg, un fervent adhérent de la sociologie des sciences qui s’y enseigne. []
  8. Faites le calcul : un jeune chercheur qui envoie annuellement trois articles relus par trois reviewers devrait lui-même relire neuf manuscrits annuellement pour équilibrer la balance. []
  9. Le format standard de 15-20 pages en science politique n’a aucune justification scientifique : on peut, comme Anselm Strauss ou Michael Lipsky dans l’APSR dans les années 1950, signer un texte fondateur en 8-10 pages ; et la limitation à 15-20 pages est un archaïsme hérité des revues imprimées, alors que l’on se plaint toujours d’un article qu’il n’en dit pas assez… Le format actuel est donc largement irrationnel. []
  10. C’est un exemple de negative feedback : la dépendance au sentier des formats de publication nous a tendu un piège que nous n’avons pas évité malgré deux voies de sortie envisagées : d’une part, les working papers, d’autre part, les revues en ligne. []
  11. Je mélange volontairement ici l’évaluation du doctorat et l’évaluation des articles de revues, car il s’agit de production scientifique dans les deux cas, et d’évaluation dans le deux cas également, car le doctorat est (au moins en théorie, sinon en pratique) la pièce-maîtresse de la qualification par la CNU. []

Publiez, publiez, il en restera toujours quelque chose

Bienvenue dans l’envers du décor des universités américaines :

There are some universities, particularly where the American politics field is very strong—(modifié : voir en fin de note)—where people are starting to adopt semi-formal point systems of publication and citations as promotion criteria. If we ever do this, I know exactly how to play that game…You don’t have to be a genius to figure this out…I’ll just write a piece tomorrow saying that some lobby controls US foreign policy. Steve Walton and John Mearsheimer just wrote this piece…it is not a piece of academic scholarship by any stretch of the imagination. They’ve blown their careers out of the water in terms of the academic world, but they’ve also got a seven-figure book contract, if that’s what you want…But, if it becomes a citation thing, I know how to do that. So does everybody else.

Extrait du superbe rapport sur l’utilisation des citations dans la carrière des universitaires américains. Le chapitre 8 est entièrement consacré à la science politique, et c’est une mine d’informations.

Une autre citation :

I keep drawing this triangle for anyone who will listen. Here’s the assistant professor of political science today in the middle, here are the funding foundations, and here is the tenure and promotion committee, and here is the university press editor at the three points of the triangle. Okay? And this poor person, let’s just call him Joe, Joe goes to the Ford Foundation, the MacArthur Foundation and says, “What do you guys want?” And these guys right now are saying, “We want demonstrable short-term impact on policy. We’re not interested in basic research. You want to get a grant from us? I want to know who in Washington, D.C. is reading your work.” Okay. Then Joe goes to the university press editor…who says, “I want a book that will sell. If the book will sell, then I will ask if it has scholarly merit. If the book won’t sell, I’m not even interested.” And finally, Joe goes to the tenure and promotion committee. They say, “Where is the peer-reviewed scholarly merit, individual path-breaking contribution?” And Joe is pulled in three different directions at once, and I don’t know how he survives, frankly.

Ah, et les blogs comptent apparemment pour du beurre au niveau du recrutement, mais pas le reste de ce qui se retrouve en ligne, comme les datasets.

Mise à jour : les auteurs du rapport nous ont écrit pour nous signifier que les deux universités précédemment citées dans le passage édité ci-dessus ne mettraient pas en œuvre de point system. Le rapport a été modifié en conséquence, et cette note également.

Publier en science politique

La journée d’études qu’organisait le Centre Maurice Halbwachs sur la publication en sciences sociales a publié un document de synthèse, rempli d’indications précieuses sur plusieurs revues de science politique et apparentées. Aperçu chez Baptiste Coulmont.

Par ailleurs, la page “Blogs” contient une nouvelle entrée de politiste-blogueur. Mon conseil : commencez par ce texte.