L’entre-soi éditorial des revues de sociologie

Un autre blog de la plateforme Hypothèses a récemment lancé une “affaire Sokal à la française” en publiant un article absurde dans la revue de la chapelle Maffesoli. Je ne donne pas plus de contexte : allez lire, c’est assez amusant. Et si vous ne connaissez pas le personnage, il y a tout ce qu’il faut sur Wikipedia.

Les deux auteurs du canular critiquent aussi bien la “méthode” maffesolienne, qui fait penser au générateur automatique de textes post-modernes, que l’absence d’évaluation scientifique par la revue ciblée, Sociétés. L’une de leurs critiques porte sur “l’entre-soi [éditorial] maffesolien” qui s’incarne dans la revue :

Les autres articles du volume [contenant l’article-canular] fonctionnent sur le même schéma référentiel que celui mis en place en introduction. Les auteurs sont, pour la plupart, des habitués de la revue Sociétés pour laquelle ils publient presque exclusivement […]. Pour certains auteurs, comme le montre la base de données de Cairn.info, Sociétés est la seule revue dans laquelle ils publient. L’expérience pourrait être répétée à l’envi pour les autres numéros de la revue, et il est probable que nous retrouvions en permanence les mêmes noms (produisant le même type d’article).

Ce passage ne demande qu’à être vérifié : dans quelle mesure les sociologues ont-ils tendance à ne publier que dans une seule et même revue ?

Les données

On va tenter de répondre à cette question en prenant l’échantillon, assez large, de toute les revues de la catégorie disciplinaire “Sociologie et société” de la plateforme Cairn. Le téléchargement prend une centaine de lignes à coder. Il faut ensuite une bonne heure et demie pour obtenir toutes les pages contenant les identifiants des auteurs.

Le résultat est un jeu de données qui contient 57 298 auteurs, répartis sur 3 813 numéros de 96 revues contenant 50 640 articles. Le corpus est évidemment assez hétérogène, car les revues varient sur de nombreux paramètres. Voici par exemple les revues indexées sur les plus longues périodes, avec leur nombre total de numéros et d’auteurs :

                            revue  min  max numeros auteurs annees
1                      population 1946 2014     302    2096     69
2                         reseaux 1983 2014     170    1073     32
3            cultures-et-conflits 1990 2014      79     548     25
4             espaces-et-societes 1990 2014      71     830     25
5             le-mouvement-social 1990 2014      94     628     25

La méthode

Pour ce billet introductif, on va faire simple :

1. On commence par extraire les identifiants uniques des auteurs¹ publiés dans chaque numéro, et pour éviter de sur-valoriser les numéros spéciaux où l’introduction et la conclusion sont rédigées par le(s) même(s) auteur(s), on ne compte chaque auteur qu’une fois par numéro.
2. On compte ensuite, pour chaque auteur, le nombre de revues de la plateforme dans lesquelles il a publié ; puis l’on établit, pour chaque revue, la moyenne et l’écart-type de cette quantité. Les revues qui correspondent à un “entre-soi” éditorial auront une moyenne très proche de 1, et un écart-type très proche de 0.

En code, ça donne :

d %>%
  group_by(auteur) %>%
  mutate(n = n_distinct(revue)) %>%
  group_by(revue) %>%
  summarise(mu = mean(n), sd = sd(n)) %>%
  arrange(-m) %>%
  data.frame

Pour rappel, l’échantillon n’est pas parfait : Cairn n’indexe qu’une fraction du champ éditorial, les revues n’ont pas la même fréquence de publication, le même nombre d’années d’archivage sur Cairn, le même nombre moyen d’auteurs par numéro, etc. Mais la taille de l’échantillon devrait être suffisante pour séparer les revues.

Le résultat

Cette méthode renvoie une jolie fonction de répartition empirique, avec tout en bas, les revues dont les auteurs ont publié dans une ou deux revues, et tout en haut, les revues qui attirent des auteurs qui publient dans trois ou quatre revues. Étant donné que Cairn n’indexe pas toutes les revues, cette fourchette est une estimation basse.

En faisant ressortir quelques revues de la distribution, on y voit bien les profils très différents d’une revue comme Population, revue de l’INED presque seule à représenter la démographie, et Sociologie, revue récente qui attire des auteurs souvent déjà publiés :

Le bas de la distribution est composé de nombreuses revues très spécialisées, comme Recherches en soins infirmiers ou Carnet de notes sur les maltraitances infantiles, qui publient des sous-champs communiquant peu avec le reste de la sociologie. Avec une moyenne de 1.4 revues par auteur, Sociétés est au 74e rang sur 96.

Le problème reste que les revues sont peu comparables entre elles. Lesquelles sont raisonnablement comparables à Sociétés. On va prendre deux revues ayant le même nombre d’années d’existence à ±2 ans près, et le même nombre d’auteurs différents à ±10 auteurs près :

                        revue  min  max numeros auteurs annees

1                     geneses 2000 2014      60     456     15
2 cahiers-d-etudes-africaines 2001 2014      43     450     14
3                    societes 2001 2014      56     453     14

À ce stade, on peut raisonnablement conclure que l’entre-soi n’est pas qu’une fonction des caractéristiques de la revue : des revues aux “morphologies” comparables attirent des auteurs aux stratégies éditoriales différentes. L’écart-type confirme, par ailleurs, les différences observées :

Rentrons, pour terminer, dans le détail de la revue Sociétés. Lorsque “ses” auteurs publient ailleurs, où vont-ils le plus souvent ?

t = unique(d[ d$revue == "societes", "auteur" ])
t = as.data.frame(table(d[ d$auteur %in% t, "revue" ]))
arrange(t, -Freq) %>% head(., 5)

                                         Var1 Freq
1                                    societes  657
2 archives-de-sciences-sociales-des-religions   18
3                        ethnologie-francaise   18
4                                     reseaux   18
5                              communications   14

L’entre-soi éditorial est ici évident : le pool d’auteurs qui a publié dans Sociétés ne publie que très peu ailleurs. On peut même le calculer assez précisément : la revue Sociétés regroupe 75% de leur production éditoriale dans les revues de Cairn.

Discussion

A-t-on pris en compte tous les paramètres possibles ? Non : il faudrait des tonnes d’information sur les auteurs, un système de pondération intelligent pour standardiser les quantités, bref, plein de choses que l’on n’a pas pris le temps de mettre en place ici.

Reste que l’observation initiale des deux auteurs du canular semble tenir : la revue Sociétés fait partie d’un ensemble de revues “de niche”, dont les auteurs restent largement “entre eux” si l’on se place du point de vue de leur propension à aller publier dans d’autres revues que celle-ci.

On essaiera d’aller un peu plus loin dans un prochain billet, en estimant plus précisément la propension des revues à se former des “clientèles captives” parmi les auteurs. Et évidemment, comme il s’agit d’auteurs et d’articles, on aura tout le nécessaire pour tenter une visualisation des collaborations scientifiques entre auteurs… avec des réseaux.

1. Cairn possède une système d’identifiant unique par auteur : pas de risque, donc, d’homonymes. [↩]

---

---