Zilsel en revue, sur Cairn

Ce blog s’est souvent fait le relais des canulars publiés sur le Carnet Zilsel, soit pour parler de la forme-canular, soit pour parler de la topologie éditoriale des sciences humaines et sociales, et de la sociologie en particulier, ce qui m’avait amené à rédiger une série de billets sur la plateforme éditoriale Cairn.info.

Dans un superbe mouvement de mise en abyme, le Carnet Zilsel est récemment devenu une revue, que l’on peut désormais trouver… sur Cairn, la plateforme qui diffuse aussi l’une des revues ciblées par le canular de l’Autolib d’Arnaud (Saint-Martin) et Manuel (Quinon), que j’ai rencontrés quelques mois après.

Comme le laisse transparaître le sommaire du n°1, la revue est, fondamentalement, une revue de sociologie des sciences. Il faut rajouter à cela, et l’on verra si la tendance persiste au fil des numéros, que la revue est aussi un espace de critique féroce1. Reste qu’après la publication de comptes-rendus tels que celui-ci ou celui-là, on pouvait entendre certains egos se flétrir aux fenêtres de certains bureaux.

Je fais partie du comité de rédaction de la revue, de même que tout un tas de gens que je connais parfois de nom, parfois de vue, mais rarement plus. L’ambiance des séances de travail sur le « numéro 1 » était sympa :

L’éditorial du numéro, qui explique notamment l’origine de son nom, est en ligne, et le n°1 fait 418 pages. Heureusement, la revue ne sortira que deux fois par an, ce qui me laissera peut-être la chance de terminer chaque numéro avant la sortie du suivant.

  1. Féroce, mais pas méchant : les accusations méprisantes de « négationnisme » ne sont évidemment pas à l’ordre du jour. Pas méchant, et même plutôt drôle : la forme-canular a notamment cette vertu. []

Les revues de Cairn.info : mises à jour techniques

Add., juin 2015 : si les billets de la série “Cairn” vous ont intéressé, jetez un coup d’oeil à cette analyse textuelle de plusieurs revues de sociologie française, par Yves Gingras et Marc Bertin. J’en ai profité pour mettre à jour le code de l’analyse et ce billet.

Accès aux données

Depuis la publication de ma petite série de billets sur les revues de sociologie, la plateforme Cairn.info a légèrement modifié le code source de ses pages. Il n’est désormais plus possible d’accéder à la liste de toutes les revues d’une discipline : cette page, par exemple ne fournit plus – contrairement à ce qu’indique son adresse – la liste intégrale des revues de la discipline “Sociologie et société”, mais seulement les derniers numéros et les articles les plus consultés de cette discipline.

Du coup, voici une mise à jour du code et des données des billets précédents, qui contient les listes des revues de chaque discipline. La liste des revues de sociologie est à jour (mars 2015), de même que la page qui liste l’intégralité des revues de la plateforme. En revanche, les pages des autres disciplines datent de juillet 2014, ce qui fait qu’il manque quelques revues. J’ai récupéré ces pages sur archive.org, et n’ai rien trouvé dans les conditions d’utilisation de Cairn.info qui en interdise l’archivage.

Analyse complète de la plateforme

Si l’on suit la méthodologie du précédent billet pour mesurer le degré pondéré relatif de chaque revue de Cairn.info par rapport à toutes les autres, on obtient un résultat assez proche de celui déjà publié :

degree_all

Ce graphique est basé sur les connexions entre 423 revues, établies sur 16 217 articles par environ 116 800 auteurs différents, avec quelques doublons. Attention, il vous faudra pas mal d’espace-disque pour accomplir la même opération : les pages des numéros des seules revues de sociologie et de science politique pèsent déjà près de 400 MB, et la totalité de la plateforme requiert 1.7 GB d’espace disque.

Inter-disciplinarités des revues

On me demande dans l’oreillette si l’analyse tient lorsque l’on considère toutes les revues de la plateforme Cairn.info. Argument : l’espace des éditorial sciences humaines et sociales étant fortement pluridisciplinaire, il faut regarder au travers de toutes les disciplines pour y mesurer la tendance à l’entre-soi.

Réponse : pas complètement d’accord avec l’argument. Certaines disciplines sont plus transdisciplinaires que d’autres. On peut le quantifier en comptant les revues qui apparaissent dans plusieurs champs disciplinaires sur Cairn.info. Voici la liste des associations disciplinaires les plus fortes :

     geo,scpo       geo,soc histoire,scpo      scpo,soc 
            9            11             8             7

Par ailleurs, si l’on appelle revues “trans-disciplinaires” les revues qui apparaissent dans plus d’une discipline sur Cairn.info, on obtient un joli graphique qui résume bien la situation (lignes pointillées aux moyennes de chaque axe) :

trans-disciplinaires

De la même manière, si l’on fait passer la matrice des appartenances disciplinaires dans une analyse par composantes principales, on retrouve quelques-uns des champs les plus trans-disciplinaires.

Simplification du code de l’analyse

Le code disponible dans le dossier cité plus haut se contente d’analyser la distance pondérée du réseau éditorial des revues, connectées par le pourcentage d’auteurs qu’elles ont en commun. C’est beaucoup plus rapide et surtout beaucoup moins compliqué à mettre en oeuvre que le “stress test” du précédent billet, pour des résultats quasi-identiques mais intuitivement plus lisibles.

Publicité gratuite

Vous pouvez suivre la plateforme Cairn.info sur Twitter, où elle annonce qu’elle sera représentée au Salon du livre de Paris dans les jours qui viennent.

Un “stress test” des revues de sociologie connectées par leurs auteurs

Dans le billet précédent et dans celui d’avant, on a mesuré l’entre-soi éditorial de la sociologie, c’est-à-dire la tendance des revues à “capturer” leurs auteurs.

À partir de l’échantillon des revues “Sociologie et société” de la plateforme Cairn, on peut en effet montrer que beaucoup des auteurs de ces revues ne publient que dans un nombre très limité de revues, ce qui est particulièrement vrai de certaines revues très spécialisées, rédigées par des auteurs se comportant comme des “cliques” peu connectées au reste des revues de la discipline.

Mesurons à présent la même chose, mais de toute autre manière : quelles sont les revues les plus connectées aux autres revues de l’espace éditorial de la sociologie ?

La méthode générale

On change ici une partie essentielle du raisonnement : l’objectif devient de recréer le réseau sous-jacent à cet espace éditorial, et d’y connecter les revues entre elles en fonction de la propension de leurs auteurs à publier dans d’autres revues. Au niveau technique, cette opération requiert d’établir un protocole de construction du réseau éditorial, qu’on résumera de la manière suivante :

  1. On commence par extraire tous les auteurs ayant publié dans une revue initiale X donnée. Cela nous donne une liste plus ou moins longue d’auteurs.
  2. On identifie ensuite tous les articles de ces auteurs, qu’ils aient été publiés dans la revue en question ou pas. Cela nous donne une liste d’articles.
  3. On regroupe ces articles par leur revue de publication : cela nous donne un nombre total d’articles par revue, qui est très élevé pour la revue initiale X, et plus faible pour les autres.
  4. On normalise le nombre d’articles par revue en le divisant par le nombre d’articles dans la revue initiale X : cela nous donne une fraction théoriquement bornée entre (0, 1], du moment où la revue initiale est celle qui concentre le plus de publications.
  5. Enfin, on se sert de cette fraction pour établir un lien pondéré entre la revue initiale X et chacune des autres revues identifiées par les étapes précédentes.

Illustration de la méthode :

  1. On extrait tous les auteurs ayant publié (dans les limites de l’échantillon) dans la Revue française de sociologie : il y en a 348.
  2. On identifie les articles de ces auteurs : il y en a 1 651, répartis dans 84 revues, ce qui est beaucoup, et qui va nous donner 84 liens différents au final.
  3. On regroupe ces articles par revue de publication, et l’on observe que ces 348 auteurs ont publié 352 articles dans la Revue française de sociologie, mais aussi 83 articles dans la Revue européenne des sciences sociales, par exemple :
    1                      francaise-de-sociologie  352
    2             europeenne-des-sciences-sociales   83
    3                      societes-contemporaines   68
    4                                   mouvements   67
    5                         l-annee-sociologique   63
  4. On divise ces totaux par 352, puis l’on retire la Revue française de sociologie pour ne pas créer de lien entre la revue et elle-même, ce qui n’aurait pas de sens. On obtient des coefficients de pondération entre 0 et 1 :
    1 europeenne-des-sciences-sociales 0.2357955
    2          societes-contemporaines 0.1931818
    3                       mouvements 0.1903409
    4             l-annee-sociologique 0.1789773
    5            informations-sociales 0.1562500
  5. Enfin, on crée un lien d’intensité 0.23 entre la Revue française de sociologie et la Revue européenne des sciences sociales, et de même pour les 83 autres revues suivantes.

Laissez reposer la pâte quelques heures, et c’est prêt.

Le schéma de pondération

Cette méthode produit un réseau très dense, qui connecte 96 revues entre elles par des liens d’intensité très variable. D’ailleurs, dans quelques rares cas, ces liens sont d’intensité supérieure à 1, lorsque le pool d’auteurs d’une revue a moins publié dans cette revue que dans une autre. C’est ce que l’on peut voir en dessinant la fonction de répartition empirique de ces liens, en les classant par leur intensité :

weights_ecdf

Quels sont ces cas particuliers ? Ils sont peu nombreux et explicables : par exemple, les auteurs de la revue Clio ont plus publié dans la revue Clio. Femmes, genre et société que dans la revue Clio. Ce n’est pas surprenant : il s’agit d’une seule et même revue, qui a juste changé d’identifiant sur Cairn… Quant aux autres cas particuliers, il s’agit de revues publiées par le Ministère de la Culture, ne contenant qu’un seul article par numéro.

> filter(e, w >= 1)
                    i                          j        w      ecdf
1                clio clio-femmes-genre-histoire 1.032182 0.9981329
2    culture-chiffres           culture-methodes 1.225000 0.9988798
3      culture-etudes           culture-methodes 1.258824 0.9992532
4      culture-etudes        culture-prospective 1.035948 0.9985063
5      culture-etudes                    reseaux 1.332244 0.9996266
6    culture-methodes                    reseaux 1.000545 0.9977595
7 culture-prospective                    reseaux 2.669935 1.0000000

On va laisser de côté ces cas particuliers, et se concentrer sur le reste des liens, d’intensité variant entre 0 et 1. Commençons par un exemple : où se trouvent, parmi tous ces liens, ceux qui relient la revue Genèses à d’autres autre revues ? La réponse est que ces liens se trouvent un peu partout dans la distribution : les auteurs de cette revue ont publié dans plusieurs autres revues, parfois peu, parfois beaucoup :

ecdf_geneses

Les liens les plus forts de la revue Genèses la relie aux revues Politix, Sociétés contemporaines et Actes de la recherche en sciences sociales – ce qui ne surprendra pas les politistes (ou “sociologues du politique”), qui publient fréquemment dans ces trois revues et contribuent ainsi à les rapprocher dans le réseau que l’on a construit :

                                           i                       j         w      ecdf
1                                    geneses                 politix 0.4652329 0.9973793
2                                    geneses societes-contemporaines 0.3591092 0.9910146
3 actes-de-la-recherche-en-sciences-sociales                 geneses 0.3445658 0.9887683
4                                    geneses             savoir-agir 0.3008793 0.9839012
5                                    geneses              sociologie 0.2491052 0.9734182
6                                    geneses     le-mouvement-social 0.2359327 0.9689255

Quid de la revue Sociétés, qui a servi de point de départ à ces billets ? Cette revue est également connectée à d’autres, mais par des liens beaucoup plus ténus, soit parce que ses auteurs ont beaucoup publié dans Sociétés, soit parce qu’ils ont peu publié ailleurs, ce qui revient au même dans notre schéma de pondération :

                     i        j          w      ecdf
1       communications societes 0.16422287 0.9359790
2             societes   volume 0.07563025 0.8169225
3 l-annee-sociologique societes 0.06060606 0.7663796
4              diogene societes 0.05665375 0.7472857
5              reseaux societes 0.05206477 0.7263197
6 ethnologie-francaise societes 0.05197472 0.7255709

Lorsque l’on va chercher à visualiser ces liens, on va tenir compte de leur intensité pour ne faire apparaître que les liens les plus forts : pour cela, on se servira de leur distribution cumulée pour créer un “effet de seuil”, qui nous permettra de ne visualiser, par exemple, que les 20% des liens les plus forts. Cela permettra de visualiser un réseau moins dense, plus lisible, et surtout plus significatif.

Les réseaux

Voici le réseau constitué à partir de l’échantillon de revues dont on dispose, à des valeurs différentes du seuil évoqué ci-dessus. On commence à un seuil de 0 (réseau complet), que l’on augmente ensuite par incréments de 0.1 pour retirer les liens les plus faibles, puis par incréments de 0.01 lorsque l’on atteint 0.9, de manière à ne garder que les liens les plus forts entre les revues les plus intensément connectées à d’autres :

full

Au fur et à mesure que le seuil augmente, on ne garde que les liens les plus significatifs entre les revues. L’animation permet de percevoir cet effet de composition, mais ne permet pas de scruter le réseau de manière précise. Du coup, voici une version statique du réseau, où l’on n’a retenu que les 2.5% des liens les plus forts entre les revues (cliquer pour la version PDF) :

example_975

Que trouve-t-on parmi les liens les plus forts entre les revues de sociologie ? Beaucoup de relations qui font sens si l’on connaît un peu cette littérature, comme par exemple :

  • des liens forts entre les revues Clio, Nouvelles questions féministes et Travail, genre et société (tout en haut du graphe ; vous aurez deviné le thème) ;
  • des liens forts entre Genèses, Politix, Actes de la recherche en sciences sociales et Savoir/agir (au centre ; pas de surprise non plus) ; et
  • des liens forts entre des revues généralistes : L’Année sociologique, la Revue française de sociologie, Sociologie et la Revue européenne des sciences sociales.

Jusque-là, tout va bien. Regardons à présent les différentes positions prises par la même revue au fil des graphes. On commence avec la revue Sociologie, que vous voyez ci-dessous sous la forme d’un point rouge. Au fur et à mesure que l’on éclaircit le réseau en n’en retenant que les liens les plus forts, la revue devient de plus en plus centrale, jusqu’à l’avant-dernière étape, où elle disparaît (effet de seuil à 0.99) :

sociologie

Voyons à présent la revue Sociétés. Dès le départ, la revue occupe une position plus périphérique, étant moins connectée aux autres revues que ne l’était la revue Sociologie. Sa relégation à la périphérie de l’espace éditorial devient de plus en plus claire au fur et à mesure qu’on augmente le seuil en-dessous du lequel on ignore les liens entre revues. Sociétés disparaît du réseau lorsque le seuil d’intensité atteint 0.93 :

societes

La méthode de mesure

Bien. Faisons le bilan.

Pour chaque revue, on dispose de réseaux pondérés qui exprime la propension de la revue à être connectée aux autres revues de l’espace éditorial sociologique, mesuré sous une forme limitée à l’échantillon des revues Cairn. Les différents réseaux pondérés de chaque revue sont obtenus en augmentant graduellement le seuil d’intensité des liens qui y figurent.

Ce schéma d’observation permet de mesurer, pour chaque revue, son degré de centralité dans l’espace éditorial sociologique, qui peut être très élevé, auquel cas la revue est “centrale” dans cet espace éditorial, ou très faible, auquel cas cette revue est périphérique dans ce même espace. Ce degré de centralité est mesurable à différents seuils contenus entre 0 et 11.

Du coup, voilà ce qu’on va faire :

  1. On construit les relations de chaque revue à tous les seuils compris entre 0 et 0.99, par incrément de 0.01 (soit 100 réseaux par revue) ;
  2. Dans chaque réseau, on mesure le degré de centralité pondéré de la revue2, que l’on divise par le degré de centralité maximal observé dans le réseau ;
  3. Puis l’on met toutes ces données sur un même graphique, pour comparer les revues entre elles à partir de leur degré de centralité relatif.

Que va-t-il se passer lorsque l’on va appliquer cette méthodologie ?

  • Les revues centrales de l’espace éditorial vont se distinguer par un degré de centralité élevé, qui va rester élevé jusqu’à des niveaux de seuil eux-mêmes élevés, lorsque l’on en considère plus qu’une fraction des liens les plus forts entre les revues.
  • Les revues périphériques de l’espace éditorial vont se distinguer par un degré de centralité plus faible, qui va s’effondrer au fur et à mesure que l’on limite le réseau à ses liens les plus intenses, jusqu’à disparaître à des niveaux de seuil élevés.

C’est donc une forme de “stress test” que l’on va faire subir aux revues de la sociologie : à partir de 100 valeurs différentes, on va tester leur centralité dans l’espace éditorial disciplinaire constitué par les revues de la plateforme Cairn, et voir lesquelles se maintiennent à des niveaux élevés dans cet espace, même lorsque l’on “épure” le réseau pour n’en retenir que les liens les plus forts, c’est-à-dire ceux qui représentent plusieurs articles, rédigés par plusieurs auteurs navigant d’une revue à l’autre.

Ce “stress test” va identifier certaines revues “centrales”, qui publient plusieurs auteurs actifs dans d’autres revues. À l’inverse, il va aussi identifier les revues dont les auteurs se comportent comme des “cliques” : ces revues vont en effet assez rapidement disparaître du réseau connectant les revues entre elles, de par l’absence d’activité éditoriale soutenue de leurs auteurs dans d’autres revues.

Les résultats

Voici les résultats de la méthode de calcul décrite plus haut appliquée aux 96 revues de l’échantillon. Chaque ligne représente le degré de centralité relatif d’une revue, et l’on a fait ressortir quelques revues par des couleurs distinctes :

degree_all

Dans ce graphique, on observe le degré de centralité relatif de deux revues centrales de la sociologie : Actes de la recherche en sciences sociales et la Revue française de sociologie. Ces revues correspondent à des écoles : la première est d’influence bourdieusienne, la deuxième d’influence durkheimienne3. Mais cette filiation n’empêche pas leurs auteurs d’être acceptés pour publication dans d’autres revues, d’où leur fort degré de centralité dans l’espace éditorial.

Il en va de même pour Genèses, Réseaux et Sociologie : ces revues sont également connectées à de nombreuses autres par l’intermédiaire de leurs auteurs. Pourquoi ? Il y a plusieurs explications possibles : Réseaux, par exemple, est une revue centrale pour les études communication, qui est connectée à plusieurs revues moins centrales dans ce sous-domaine des recherches sociologiques, comme la revue Télévision, ce qui lui procure une position avantageuse dans l’espace éditorial4.

De la même manière que ces résultats permettent de repérer les revues dont les auteurs cherchent à se positionner au centre de l’espace éditorial sociologique, ils permettent aussi d’identifier les revues dont les auteurs sont beaucoup plus isolés dans cet espace. Nota bene : dans une structure en réseau, l’isolement se traduit par un positionnement en périphérie ; l’isolement et la marginalité y sont donc structurellement équivalentes. Je vous laisse appliquer cinquante nuances de subtilité à ce glissement conceptuel.

J’ai ainsi fait exprès de faire figurer la revue Recherches en soins infirmiers, qui est très illustrative de cette position structurale : de par sa nature hyper-spécialisée, cette revue attire des auteurs extérieurs au champ universitaire, qui ne cherchent pas à s’imposer dans l’espace éditorial sociologique, et qui publient par conséquent peu dans le reste des revues de la discipline. La position marginale de la revue s’explique donc très bien.

Il nous reste, enfin, la revue Sociétés, dont le sous-titre est : “Revue des sciences humaines et sociales”. Dans le billet précédent et dans celui d’avant, cette revue apparaissait déjà parmi les revues les plus caractéristiques d’un entre-soi éditorial ; l’analyse par réseaux permet de compléter cette observation en renforçant le constat de marginalité de ses auteurs dans l’espace éditorial sociologique.

Conclusion

À partir des résultats accumulés au cours des trois derniers billets, on peut désormais affirmer que l’on a établi la nature marginale de la revue Sociétés dans l’espace éditorial sociologique, entendu encore au fois au sens limité de l’échantillon des revues hébergées sur la plateforme Cairn. Cet échantillon est par définition incomplet, mais il est tout de même suffisamment large pour que l’on ait confiance dans ce résultat.

Quand les auteurs du canular publié par la revue Sociétés affirment que cette revue publie des auteurs qui “restent entre eux” au lieu d’aller confronter la validité de leur démarche scientifique au reste de la profession, on ne peut que leur donner raison, et constater avec eux que la revue Sociétés publie un groupe d’individus qui ne bénéficie que de connexions très faibles au reste de l’espace éditorial sociologique.

Qu’est-ce que cela signifie ? Ce n’est pas un jugement de fond : ni le contenu des articles, ni leurs citations, n’ont été mobilisés dans l’analyse. Toutefois, les liens que tissent les sociologues en publiant dans plusieurs revues renvoient aux alliances, aux coopérations et aux soutiens qui s’expriment entre différents segments de la discipline universitaire : c’est cette caractéristique du travail éditorial qui sous-tend les réseaux que l’on a fait apparaître, et qui permet de discriminer les revues centrales des revues périphériques.

De ce point de vue, et dans la limite de démonstration imposée par l’échantillon, la revue Sociétés est une revue structurellement marginale dans la discipline sociologique, ce qui n’est pas le cas, loin s’en faut, de toutes les revues représentant un courant d’analyse spécifique—à condition de considérer, bien sûr, que les publications de cette revue méritent le titre de courant d’analyse, ce que Manuel Quinon et Arnaud Saint-Martin remettent très justement en cause (et ils ne sont pas les seuls).

Pour aller plus loin

Voici le code complet de l’analyse. Le code permet très facilement d’inclure d’autres espaces disciplinaires représentés sur la plateforme Cairn.info ; en revanche, inclure les revues des plateformes Persée.fr, Érudit.org ou Revues.org demanderait beaucoup, beaucoup plus de travail.

Cette analyse pourrait être développée pour faire un petit article à destination d’une revue comme le Bulletin de méthodologie sociologique ; merci de laisser un commentaire si vous êtes intéressé.

  1. Au seuil 0, on considère tous les liens qui peuvent exister entre les revues par l’intermédiaire des auteurs qui publient dans plusieurs d’entre elles ; au seuil 0.99 approchant 1, on ne considère que les liens les plus forts. []
  2. Suivez ce lien pour comprendre la méthode de calcul. J’ai utilisé un paramètre de pondértion alpha de 1, ce qui signifie que j’ai utilisé la généralisation de Barrat pour pondérer le degré de chaque revue. []
  3. Si vous êtes spécialiste du sujet (je ne le suis pas), donnez-moi de meilleurs qualificatifs dans les commentaires. []
  4. On observera avec amusement que la revue la plus centrale au seuil le plus élevé est justement la revue… Réseaux. Autrement dit, cette revue est la mieux connectée aux autres par le biais des publications de ses auteurs : pas surprenant pour une revue trans-disciplinaire qui se situe à la frontière entre sociologie et “sciences de l’info.-comm.”. []

Quelques mesures de la concentration éditoriale en sociologie

Dans le précédent billet, on a utilisé les 96 revues indexées par la plateforme Cairn et classées dans la discipline “Sociologie et société” pour produire une première mesure de l’entre-soi éditorial dans les revues de sociologie.

Cette première mesure visait à vérifier que les auteurs du canular visant (Michel Maffesoli et) la revue Sociétés avaient raison de penser que cette revue publie surtout les travaux d’un groupe auto-référentiel et isolé dans l’espace éditorial scientifique. Les premiers résultats ont confirmé cette vision des choses.

Allons un peu plus loin en cherchant à valider ce résultat par plusieurs mesures concurrentes de la concentration éditoriale des revues de l’échantillon. On va en produire trois, en allant de la mesure la plus simple à la mesure la plus compliquée (mais qui reste très simple).

On rappellera tout d’abord que l’échantillon est limité aux revues indexées par Cairn : l’analyse ne porte donc que sur un fragment de l’espace éditorial. Toutefois, ce fragment est assez large pour faire apparaître des différences marquantes entre les revues, qui trouvent de plus des explications qualitiatives intéressantes.

Le code pour produire les graphiques suivants (dans un ordre différent) est en ligne, avec le code pour récupérer les métadonnées de base.

Mesure 1 : le pourcentage d’auteurs “mono-revues”

Le nombre d’articles publiés par les auteurs du corpus varie de manière très importante : 74% des auteurs n’ont publié qu’un seul article dans une revue indexée par Cairn, alors que d’autres, comme les directeurs de revues qui signent les éditoriaux de chaque numéro, en comptent plusieurs dizaines1.

En plus de cette variation, explicable par des différences d’avancement de carrière et de productivité, certains auteurs n’ont publié que dans une seule des revues indexées par Cairn. Appelons ces auteurs les auteurs “mono-revues”, et mesurons leur pourcentage parmi les auteurs de chaque revue.

Cette première mesure donne le résultat suivant, qui converge très fortement avec celui du billet précédent (cliquer pour la version PDF) :

revues_mono_rank

On retrouve la revue Sociologie dans les revues dont les auteurs sont très souvent “pluralistes” : 80% de ses auteurs ont publié dans une autre revue indexée par Cairn. Et tout en bas, on retrouve les revues isolées dans le champ éditorial, comme Africultures. La revue maffesolienne Sociétés est en haut du dernier quartile.

Mesure 2 : la concentration de la production écrite

Émettons à présent une critique basique de la mesure précédente : certes, 60% des auteurs d’Actes de la recherche en sciences sociales ont publié dans une autre revue, mais cette mesure ne nous dit pas s’ils ont publié un seul article ailleurs, et tous les autres dans cette revue.

Pour répondre à cette critique, reprenons une idée du précédent billet, en calculant le pourcentage moyen de la production écrite des auteurs qui se trouve “capturée” par chaque revue. L’idée fondamentale consiste ici à penser les auteurs comme une clientèle plus ou moins “captive” de chaque “entreprise” éditoriale.

Le résultat ci-dessous est, encore une fois, très fortement corrélé au(x) précédent(s) : le coefficient de corrélation linéaire est proche de rho = .94.

revues_conc_rank

Sur cette deuxième mesure, les Carnets de notes sur les maltraitances infantiles sont encore mieux séparés du reste des revues, et “capturent” la quasi-totalité des articles des auteurs y ayant publié au moins un texte. La revue étant hyper-spécialisée et périphérique à la sociologie universitaire, ce n’est pas surprenant.

Mesure 3 : l’indice de Herfindhal-Hirschman

L’indice de Herfindhal-Hirschman (oui, c’est le même Hirschman) est un taux de concentration construit à partir des parts de marchés des plus grosses firmes d’un secteur industriel, élevées à la puissance 2. Je m’en sers en cours pour illustrer l’augmentation de la compétitivité sur le marché des navigateurs Internet.

Cet indice n’est plus un pourcentage, mais une somme de carrés de fractions dont la somme fait 1 : en conséquence, elle varie sur l’intervalle (0, 1], où 1 désigne une situation de monopole. Son intérêt par rapport aux mesures précédentes est de prendre en compte toute l’information dont on dispose sur les publications de chaque auteur.

Comme les mesures précédentes, l’indice de Herfindhal-Hirschman se calcule par auteur ; on prend ensuite la moyenne de cet indice pour tous les auteurs d’une revue. On peut même s’amuser à prendre la moyenne pondérée de cet indice, en fonction du nombre d’articles qu’a signé chaque auteur dans la revue2.

Voici l’indice moyen de chaque revue, entouré d’un intervalle correspondant à ± 1 écart-type des indices des auteurs. Cliquer pour la version PDF.

revues_hhi_rank

Encore une fois, on observe très, très peu de variations avec les mesures précédentes : la corrélation avec le pourcentage d’auteurs “mono-revues” est même quasi-parfaite. Le “classement” des revues, de la plus à la moins “monopolistique”, est quasiment inchangé.

Qu’a-t-on établi ?

La multiplication des mesures permet de valider le spectre de l’entre-soi éditorial identifié au billet précédent :

  • à l’extrémité gauche du spectre, on trouve des revues généralistes, accueillant des auteurs qui publient aussi dans d’autres revues ; et
  • à l’extrémité droite du spectre, on trouve des revues très spécialisées, accueillant des auteurs qui publient presque exclusivement dans cette revue.

C’est exactement ce que suggèrent les auteurs du canular visant la revue Sociétés : celle-ci est spécialisée dans la publication, et apparemment sans aucune validation scientifique, de ce que l’on appelle une “clique” en analyse de réseaux – ou encore une “secte” ou une “chapelle”, quand on veut être plus critique.

Je cite ces derniers termes à dessein : ils sont souvent utilisés pour critiquer tel ou tel sous-groupe de sociologues, pour faire passer l’idée que ce groupe est auto-référentiel. Ses membres peuvent, par exemple, se citer beaucoup les uns les autres, ou même s’auto-promouvoir les uns les autres dans certains cas extrêmes…

On reviendra donc, dans un prochain billet, sur d’autres aspects de la “clique maffesolienne”, et des autres cliques que l’on pourrait identifier dans le corpus.

Et cette fois-ci, il y aura des réseaux, promis.

  1. C’est notamment le cas d’Alfred Sauvy, personnage important pour la structuration du sous-champ scientifique auquel il appartenait (la démographie), et de sa revue centrale (Population), qu’il dirige jusqu’en 1975. Alfred Sauvy apparaît sous son nom complet ou sous les initiales “A. S.” dans les notules de fin de numéro []
  2. Le code permet de constater que la pondération de l’indice donne quasiment les mêmes résultats. []

L’entre-soi éditorial des revues de sociologie

Un autre blog de la plateforme Hypothèses a récemment lancé une “affaire Sokal à la française” en publiant un article absurde dans la revue de la chapelle Maffesoli. Je ne donne pas plus de contexte : allez lire, c’est assez amusant. Et si vous ne connaissez pas le personnage, il y a tout ce qu’il faut sur Wikipedia.

Les deux auteurs du canular critiquent aussi bien la “méthode” maffesolienne, qui fait penser au générateur automatique de textes post-modernes, que l’absence d’évaluation scientifique par la revue ciblée, Sociétés. L’une de leurs critiques porte sur “l’entre-soi [éditorial] maffesolien” qui s’incarne dans la revue :

Les autres articles du volume [contenant l’article-canular] fonctionnent sur le même schéma référentiel que celui mis en place en introduction. Les auteurs sont, pour la plupart, des habitués de la revue Sociétés pour laquelle ils publient presque exclusivement […]. Pour certains auteurs, comme le montre la base de données de Cairn.info, Sociétés est la seule revue dans laquelle ils publient. L’expérience pourrait être répétée à l’envi pour les autres numéros de la revue, et il est probable que nous retrouvions en permanence les mêmes noms (produisant le même type d’article).

Ce passage ne demande qu’à être vérifié : dans quelle mesure les sociologues ont-ils tendance à ne publier que dans une seule et même revue ?

Les données

On va tenter de répondre à cette question en prenant l’échantillon, assez large, de toute les revues de la catégorie disciplinaire “Sociologie et société” de la plateforme Cairn. Le téléchargement prend une centaine de lignes à coder. Il faut ensuite une bonne heure et demie pour obtenir toutes les pages contenant les identifiants des auteurs.

Le résultat est un jeu de données qui contient 57 298 auteurs, répartis sur 3 813 numéros de 96 revues contenant 50 640 articles. Le corpus est évidemment assez hétérogène, car les revues varient sur de nombreux paramètres. Voici par exemple les revues indexées sur les plus longues périodes, avec leur nombre total de numéros et d’auteurs :

                            revue  min  max numeros auteurs annees
1                      population 1946 2014     302    2096     69
2                         reseaux 1983 2014     170    1073     32
3            cultures-et-conflits 1990 2014      79     548     25
4             espaces-et-societes 1990 2014      71     830     25
5             le-mouvement-social 1990 2014      94     628     25

La méthode

Pour ce billet introductif, on va faire simple :

  1. On commence par extraire les identifiants uniques des auteurs1 publiés dans chaque numéro, et pour éviter de sur-valoriser les numéros spéciaux où l’introduction et la conclusion sont rédigées par le(s) même(s) auteur(s), on ne compte chaque auteur qu’une fois par numéro.
  2. On compte ensuite, pour chaque auteur, le nombre de revues de la plateforme dans lesquelles il a publié ; puis l’on établit, pour chaque revue, la moyenne et l’écart-type de cette quantité. Les revues qui correspondent à un “entre-soi” éditorial auront une moyenne très proche de 1, et un écart-type très proche de 0.

En code, ça donne :

d %>%
  group_by(auteur) %>%
  mutate(n = n_distinct(revue)) %>%
  group_by(revue) %>%
  summarise(mu = mean(n), sd = sd(n)) %>%
  arrange(-m) %>%
  data.frame

Pour rappel, l’échantillon n’est pas parfait : Cairn n’indexe qu’une fraction du champ éditorial, les revues n’ont pas la même fréquence de publication, le même nombre d’années d’archivage sur Cairn, le même nombre moyen d’auteurs par numéro, etc. Mais la taille de l’échantillon devrait être suffisante pour séparer les revues.

Le résultat

Cette méthode renvoie une jolie fonction de répartition empirique, avec tout en bas, les revues dont les auteurs ont publié dans une ou deux revues, et tout en haut, les revues qui attirent des auteurs qui publient dans trois ou quatre revues. Étant donné que Cairn n’indexe pas toutes les revues, cette fourchette est une estimation basse.

En faisant ressortir quelques revues de la distribution, on y voit bien les profils très différents d’une revue comme Population, revue de l’INED presque seule à représenter la démographie, et Sociologie, revue récente qui attire des auteurs souvent déjà publiés :

revues_ecdf

Le bas de la distribution est composé de nombreuses revues très spécialisées, comme Recherches en soins infirmiers ou Carnet de notes sur les maltraitances infantiles, qui publient des sous-champs communiquant peu avec le reste de la sociologie. Avec une moyenne de 1.4 revues par auteur, Sociétés est au 74e rang sur 96.

Le problème reste que les revues sont peu comparables entre elles. Lesquelles sont raisonnablement comparables à Sociétés. On va prendre deux revues ayant le même nombre d’années d’existence à ±2 ans près, et le même nombre d’auteurs différents à ±10 auteurs près :

                        revue  min  max numeros auteurs annees

1                     geneses 2000 2014      60     456     15
2 cahiers-d-etudes-africaines 2001 2014      43     450     14
3                    societes 2001 2014      56     453     14

revues_comparable

À ce stade, on peut raisonnablement conclure que l’entre-soi n’est pas qu’une fonction des caractéristiques de la revue : des revues aux “morphologies” comparables attirent des auteurs aux stratégies éditoriales différentes. L’écart-type confirme, par ailleurs, les différences observées :

revues_mu_sd

Rentrons, pour terminer, dans le détail de la revue Sociétés. Lorsque “ses” auteurs publient ailleurs, où vont-ils le plus souvent ?

t = unique(d[ d$revue == "societes", "auteur" ])
t = as.data.frame(table(d[ d$auteur %in% t, "revue" ]))
arrange(t, -Freq) %>% head(., 5)

                                         Var1 Freq
1                                    societes  657
2 archives-de-sciences-sociales-des-religions   18
3                        ethnologie-francaise   18
4                                     reseaux   18
5                              communications   14

L’entre-soi éditorial est ici évident : le pool d’auteurs qui a publié dans Sociétés ne publie que très peu ailleurs. On peut même le calculer assez précisément : la revue Sociétés regroupe 75% de leur production éditoriale dans les revues de Cairn.

Discussion

A-t-on pris en compte tous les paramètres possibles ? Non : il faudrait des tonnes d’information sur les auteurs, un système de pondération intelligent pour standardiser les quantités, bref, plein de choses que l’on n’a pas pris le temps de mettre en place ici.

Reste que l’observation initiale des deux auteurs du canular semble tenir : la revue Sociétés fait partie d’un ensemble de revues “de niche”, dont les auteurs restent largement “entre eux” si l’on se place du point de vue de leur propension à aller publier dans d’autres revues que celle-ci.

On essaiera d’aller un peu plus loin dans un prochain billet, en estimant plus précisément la propension des revues à se former des “clientèles captives” parmi les auteurs. Et évidemment, comme il s’agit d’auteurs et d’articles, on aura tout le nécessaire pour tenter une visualisation des collaborations scientifiques entre auteurs… avec des réseaux.

  1. Cairn possède une système d’identifiant unique par auteur : pas de risque, donc, d’homonymes. []

Dans les revues, vol. 1

Les nouvelles du front dans le paysage des revues scientifiques, en science politique et en sciences sociales :

  • La grande nouvelle du début 2009, c’est l’arrivée en ligne sur le portail Cairn d’une bonne pelletée de revues, et la science politique est très bien dotée : Politix, Pouvoirs (qui a aussi un chouette site dont j’ai déjà dit du bien ailleurs) mais aussi Mots et Politique européenne.

    La mise en ligne peut vraiment contribuer à désenclaver des titres comme Politique européenne, qui n’était pas très présents comme Politix ou Mots l’étaient déjà (via persee.fr et via revues.org respectivement).

    Paradoxalement, les réductions budgétaires au CNRS font que l’accès à Cairn via BiblioSHS est menacé alors même que ce portail devient un point de passage obligé pour les chercheurs francophones en SHS ; il faudra donc que les UMR ou les universités financent elles-mêmes l’accès à ce portail à l’avenir. Aux dernières nouvelles cependant, et probablement sous la pression de nombreux chercheurs mécontents, le CNRS serait en train de renégocier cela.

  • Les membres de la section de recherche en méthodes qualitatives à l’APSA ont dû recevoir le dernier numéro de sa newsletter Qualitative & Multi-Method Research, qui contient d’excellents articles sur l’inférence causale dans les études de cas.

    Les auteurs des textes seront familiers à tous ceux qui travaillent sur des études de cas qualitatives : John Gerring (cf. son excellent bouquin, bientôt en deuxième édition chez Cambridge), Gary Goertz (et hop, un deuxième excellent ouvrage de méthodologie), et évidemment David Collier (connu pour le “Collier and Collier 1991” sur l’Amérique latine, mais aussi pour le manuel de méthodologie “Brady and Collier 2004”).

    Le deuxième dossier est aussi à signaler : les articles portent sur les expériences de terrain (field experiments). Le premier texte est signé Thad Dunning, que j’avais déjà remarqué par son papier APSA sur les faits sociaux.

  • Le dernier numéro de Politique et Sociétés, la revue de la SQSP, contient le premier article publié en science politique sur “mon” objet de recherche (la lutte contre le cancer).

    Je me sens un peu moins seul désormais, même s’il s’agit d’un article de science de l’information et de la communication et pas de science politique. Le texte est signé par Benoît Lafon [site personnel] et Hélène Romeyer.

    Sur la communication (publique ou politique) et la santé, on peut aussi consulter un numéro récent de Questions de communication, par le même groupe de recherche issu du Gresec, à Échirolles (en banlieue grenobloise, à côté de mon propre labo de recherche à l’IEP Grenoble).

  • La science politique étant souvent amenée à traiter des conflits fondés sur les intérêts et l’autorité scientifiques, le dernier numéro mis en ligne de la revue Enquête sur les controverses scientifiques sera très utile aux chercheurs qui voudraient s’initier à l’étude des controverses.

    Le numéro contient notamment un texte de David Bloor, traduit en français. Cet auteur, dont les travaux représentent une branche importante de la sociologie des sciences, est peu accessible en français, ce qui m’avait poussé à publier une note de recherche et un entretien dans la revue Tracés, qui prend de l’essor en ce moment – elle aussi est passée en ligne l’an dernier, et son fondateur organise actuellement un cycle de conférences sur les SHS.