Évaluation et rigueur scientifique : une contribution

Il y a quelques semaines, j’avais lancé un appel à témoignage sur l’efficacité scientifique de la nomination discrétionnaire, autour duquel s’est noué un court dialogue. Je reproduisais le geste d’un autre blog de la plateforme Hypothèses, qui a déclenché un dialogue plus conséquent et sur lequel j’ai quelques remarques à soumettre, en retard.

Afin d’éviter tout conflit d’intérêt, je signale tout de suite que je connais une large partie des participants à la discussion (appelés “commentateurs” dans ce qui suit), soit par Hypothèses, soit par la blogosphère hors-Hypothèses. En plus de cela, l’auteur de l’article cité au sujet des résultats positifs dans les revues scientifiques est… un ancien collègue de bureau, connu à Édimbourg (et nous avons naturellement discuté de sa recherche en long et en large, des données aux interprétations en passant par la méthode d’analyse).

Je précise aussi immédiatement que rien, dans ce qui suit, ne peut être légitimement interprété comme une critique en creux de la recherche scientifique actuelle. Ce qui me pose problème dans la recherche actuelle concerne les conditions du travail scientifique, et l’enseignement a renforcé cette perception des choses chez moi ; les chercheurs eux-mêmes ont peu de prises sur ces conditions de travail, et se donnent peu les moyens de modifier le statu quo—mon sentiment militant se forme sur ces enjeux stratégiques, “de forme”. Sur les questions scientifiques, “de fond”, je suis résolument optimiste, et je trouve que ma discipline (et les autres que je parcours en quasi-dilettante) se porte bien, voire très bien.

La discussion contient deux questions :

  1. Celle de l’appel à témoignage : “voyez-vous autour de vous des indices, des cas précis qui vous font penser que ‘la rigueur scientifique se relâche’ ?”
  2. Celle qui critique cette méthode d’élucidation : peut-on répondre à la question à partir d’un appel à témoignage ?

Pour ma part, je pense qu’il faut répondre “non” aux deux questions. Ce billet contient mes réponses détaillées, et je répondrai à une troisième question pour terminer.

Ma conclusion générale est la suivante : l’évaluation n’a pas entraîné de perte en termes de rigueur scientifique, celle-ci étant certainement plutôt en progression ; en revanche, elle fait apparaître un hiatus entre l’objectif de rigueur scientifique et les moyens que l’on se donne actuellement pour l’atteindre, et c’est sur ce point qu’il faut envisager des réformes profondes1. Plutôt qu’un dévoiement de l’activité de publication par l’évaluation qui causerait une perte de rigueur scientifique, je pense plutôt qu’on assiste à la disjonction entre ces trois sphères d’activité, qui ne se reconnaissent plus les unes dans les autres.

  1. Non, la rigueur scientifique n’est pas en chute libre, et l’inverse se vérifie même dans mon expérience des choses, parce que je ne place pas mon expérience dans les mêmes supports que les commentateurs.

    L’appel à témoignage contient un biais en plaçant la “rigueur scientifique” toute entière dans les publications scientifiques des chercheurs, ici tous titulaires. Dans ma discipline, la recherche avance naturellement par ces publications, mais aussi, de manière substantielle, par les thèses de doctorat. Ces thèses fournissent une large fraction des publications scientifiques de la discipline. Pour preuve, j’ai dépouillé systématiquement les années 2005 et 2006 de la revue Politix2 : les publications de non-titulaires, et de doctorants en particulier, représentent une large proportion des articles3.

    Sans aller plus loin dans la lecture des résultats, qui ne sont pas plus solides que ça, je propose simplement de considérer, par induction, que la “rigueur scientifique” doit s’évaluer d’abord sur ces recherches doctorales. J’aurais pu arriver à la même proposition par déduction : si la rigueur scientifique est un trait acquis au cours de l’expérience professionnelle que constitue la recherche scientifique, et si l’on présume que cet attribut ne régresse jamais chez les individus4, alors la rigueur scientifique est très sensible aux conditions initiales et doit donc se mesurer de prime abord chez les jeunes chercheurs.

    À ce stade du raisonnement, il me faut des données, et je ne peux parler que de mon expérience personnelle en la matière, sachant que cette méthode est suffisamment fiable pour le présent exercice de style (voir ma deuxième réponse). Mon expérience m’indique que les recherches doctorales de la décennie 2000-2010 ne sont pas moins rigoureuses que les recherches doctorales de la décennie 1990-2000, voire qu’elles sont plus rigoureuses en termes de méthodes de recherche si l’on décide de les comparer avec les recherches doctorales de décennies antérieures, car les méthodes d’enquête et les réflexions épistémologiques ont gagné en précision sur cette période5. Ces recherches remplissent ensuite les revues scientifiques. À moins de supposer que le changement de support peut affecter la rigueur scientifique des résultats, je pense donc qu’il est impossible d’observer une perte de rigueur scientifique dans ma discipline (la science politique).

    Comment expliquer, alors, l’impression inverse ? Il y a au moins trois explications : (1) un biais psychologique : par négativité, on ne retient que les cas qui semblent indiquer une perte de rigueur ; (2) un artefact statistique : s’il y a plus de recherche en général, le volume de recherche peu rigoureuse a mécaniquement augmenté, même si la recherche rigoureuse (voire plus rigoureuse) a augmenté plus rapidement ; (3) une combinaison, probable, des deux premières explications.

  2. Non, l’appel à témoignages ne peut pas répondre à la question qu’il pose. Mais ce n’est pas important, car il a été conçu sur le mode d’une enquête-pilote, qui ne demande pas d’échantillon représentatif. Voilà qui devrait mettre les deux camps de commentateurs d’accord.

    Deux remarques, cependant. D’une part, le texte peut être aussi trompeur que les chiffres. Par exemple, quand Sylvain Piron écrit que “le plagiat prolifère dans les travaux universitaires, et plus encore la tolérance à l’égard de ces pratiques”, c’est une proposition correcte, à condition de ne pas lire que le plagiat augmente là où il est écrit qu’il prolifère. La confusion sémantique est facile, et elle est sous-tendue par l’hypothèse d’arrière-plan que les nouvelles technologies rendent le plagiat plus simple—cette dernière proposition est vraie, mais plus simple ne signifie pas plus courant ; les risques de détection, et donc de sanction, ont augmenté de pair, et rien ne permet de renverser l’hypothèse nulle (le plagiat est une pratique stable) dans un sens ou dans l’autre.6.

    D’autre part, si l’enquête-pilote ne sert pas à répondre à la question qu’elle pose, alors c’est qu’elle doit servir à la reformuler pour avancer vers une démonstration. Or, la discussion n’a pas tendu vers cet objectif. Un exemple : Pablo Achard avance que les résultats négatifs sont intéressants mais qu’on en connaît pas leur devenir. C’est vrai : seules quelques disciplines sont dotées de revues publiant les résultats négatifs, et dans les autres, on peut observer, statistiques à l’appui, un biais vers les résultats positifs et significatifs. Il faudrait mieux comprendre les effets des standards de significativité : pour faire court, un résultat à p < .05 doit en fait s'interpréter comme un résultat à p < .07. Tout est relatif, ce qui n'interdit pas que certaines propositions soient vraies ou fausses. Une discipline rigoureuse reconnaît ce phénomène et en tire les conséquences dans ses méthodes d'enquête : voilà un outil possible pour reconnaître la rigueur scientifique7. La discussion suite à l’appel à témoignage n’a pas dégagé de proposition semblable ; or, le maintien de ce que Sylvain Piron appelle “les vieux principes de l’éthique scientifique” passe par ces propositions intermédiaires.

La troisième question posée par l’initiateur de l’appel à témoignage demande s’il existe dans chaque discipline des normes consensuelles sur ce que doit être une publication.

À cette question, on peut répondre “oui” parce que différentes normes consensuelles sont observables lorsque l’on compare dans l’espace et dans le temps. En France, par exemple, certaines revues comme ARSS publiaient des articles de 40 pages, voire plus ; certaines revues continuent de le permettre, mais en règle générale, et à l’échelle d’une discipline, le volume individuel des articles a diminué pour faire place à plus d’articles. Cette tendance ne va pas s’inverser : le champ scientifique contient plus de chercheurs et plus de revues, mais sa capacité de reviewing augmente plus lentement que ces deux variables8.

Pour inverser la tendance, il faudrait se fixer une ligne de conduite malthusienne en limitant la publication à n articles/an, et en forçant les publiants à évaluer à leur tour. Cela conduirait aussi vers des publications parfois plus longues, et plus souvent citées (à l’heure actuelle, une large fraction des publications n’attire aucune citation ou presque). Cette solution ne correspond ni au fonctionnement traditionnel des revues scientifiques, ni au régime d’évaluation qui se met en place. Pourtant, elle serait viable sur le long terme, et plus efficace scientifiquement, car la taille actuelle des articles est anachronique9.

Il existe des normes consensuelles, donc, sur ce que doit être une publication scientifique, mais le fondement de ces normes n’est lui-même pas, ou plus suffisamment, scientifique. Le sentiment d’être à la merci de l’évaluation provient notamment de cette disjonction entre l’état du champ et ses règles de fonctionnement, et les méthodes bibliométriques nous ont pris de court en valorisant un volume élevé de publications taillées selon des critères qui ne se justifiaient déjà plus, ce qui fait qu’elle paraîtra toujours injuste tant que le format de la recherche reposera sur des schèmes bancaux10. Pour caricaturer, je pense – mais ça n’engage que moi – qu’en sciences sociales, les thèses pourraient faire 300 pages de moins et les articles 30 pages de plus lorsque c’est nécessaire11, ce qui m’incite d’ailleurs à penser qu’on devrait définir la catégorie intermédiaire de la “note de recherche” beaucoup plus formellement que ce n’est le cas à l’heure actuelle (idée à creuser).

Je n’ai pas le sentiment, dans cette contribution, d’avoir clos le débat—encore heureux ! Mais j’espère bien avoir présenté quelques idées qui feront ressortir le point de vue du jeune chercheur, par ailleurs encore très inexpérimenté. De ces idées, il ressort que l’évaluation et la rigueur scientifique doivent être définies de manière plus large pour comprendre la situation actuelle ; et de cette définition plus large, je pense qu’il ressort une nécessité de réforme bien plus transformatrice que conservatrice. Au sein de la société de l’audit, la science possède l’avantage de posséder un recul critique sur les supports de sa production scientifique, et de pouvoir les modifier assez librement ; à elle d’avancer sa propre mesure actualisée de la production scientifique si elle ne souhaite pas perdre son autonomie en laissant des acteurs étrangers au champ accomplir cette transformation à sa place.

  1. J’ai cherché à caractériser idéologiquement cette conclusion, mais j’oscille entre Marx, pour le côté matérialiste où tout dépend des moyens de production, et Taylor, pour l’organisation scientifique du travail (scientifique)… []
  2. La revue Politix est une solution de facilité, grâce aux biographies des auteurs affichées dans Cairn ; elle contient certainement un biais général ou ponctuel. []
  3. Les notes de lecture étaient exclues du dépouillement. []
  4. Autrement dit, que la rigueur scientifique est une fonction croissante non monotone chez ses agents… ! []
  5. À noter que j’introduis un biais en considérant comme impossible que ces méthodes et réflexions aient produit un résultat régressif, c’est-à-dire une déperdition de rigueur. L’idée de progrès scientifique en Occident exprime systématiquement ce biais. []
  6. Le même débat existe sur le niveau des étudiants : toutes les conditions sont réunies pour qu’individuellement, on succombe à un effet d’optique en observant que le niveau baisse, alors que les données non anecdotiques indiquent l’inverse—et même de manière anedotique, les salles de classe d’autrefois avaient des écriteaux rappelant que le crachat était interdit… []
  7. Disclaimer : je reste, depuis mon séjour à Édimbourg, un fervent adhérent de la sociologie des sciences qui s’y enseigne. []
  8. Faites le calcul : un jeune chercheur qui envoie annuellement trois articles relus par trois reviewers devrait lui-même relire neuf manuscrits annuellement pour équilibrer la balance. []
  9. Le format standard de 15-20 pages en science politique n’a aucune justification scientifique : on peut, comme Anselm Strauss ou Michael Lipsky dans l’APSR dans les années 1950, signer un texte fondateur en 8-10 pages ; et la limitation à 15-20 pages est un archaïsme hérité des revues imprimées, alors que l’on se plaint toujours d’un article qu’il n’en dit pas assez… Le format actuel est donc largement irrationnel. []
  10. C’est un exemple de negative feedback : la dépendance au sentier des formats de publication nous a tendu un piège que nous n’avons pas évité malgré deux voies de sortie envisagées : d’une part, les working papers, d’autre part, les revues en ligne. []
  11. Je mélange volontairement ici l’évaluation du doctorat et l’évaluation des articles de revues, car il s’agit de production scientifique dans les deux cas, et d’évaluation dans le deux cas également, car le doctorat est (au moins en théorie, sinon en pratique) la pièce-maîtresse de la qualification par la CNU. []

1 réflexion sur « Évaluation et rigueur scientifique : une contribution »

  1. Complément à ta note de bas de page 8 : vu que les articles ont généralement plusieurs co-auteurs (sauf en SHS, certes), il faudrait diviser par le nombre de co-auteurs moyen des articles soumis. C’est d’ailleurs une tendance qui rend optimiste : on retombe ainsi sur des quantités plus raisonnables de papiers à relire…

Les commentaires sont fermés.