Les “unes” de Charlie Hebdo : modèles définitifs

Suite et quasi-fin d’une suite de billets publiée en trois épisodes la semaine dernière : mercredi, vendredi, dimanche. Je vais en reprendre les points principaux, et rajouter les résultats définitifs. Et il y aura un épilogue après ça, puis basta.

Données

Pour rappel, on dispose, gràce au blog Strips Journal, de 338 “unes” de Charlie Hebdo catégorisées à l’aide de 401 mots-clés. Chaque “une” étant décrite par un ou plusieurs mots-clés (entre 1 et 11, moyenne et médiane à 4), on peut construire le réseau des co-occurrences de ces mots-clés sur l’ensemble des “unes” (cliquer pour la version PDF) :

full_network

De plus, en catégorisant ces mots-clés, on peut faire ressortir quelques grandes thématiques des “unes”, représentées ci-dessous dans un réseau bipartite (ou “deux-modes”) par des liens aux illustrateurs de ces “unes”, l’épaisseur des liens étant proportionnelle à la fréquence du thème chez l’illustrateur :

full_bipartite

Ces représentations graphiques du réseau étant soit trop compliquées (trop denses), soit trop simples (trop peu denses), on a exploré plusieurs visualisations des réseaux, par auteur et au cours du temps. Voici à nouveau le réseau de co-occurrences des mots-clés de 2009 à 2014, par période de trois mois :

network_quarters

Méthode

Pour rappel toujours, dans le dernier billet de notre série, on a proposé de modéliser la co-occurrence des mots-clés, afin d’observer la fréquence d’association de certains thèmes tout en prenant en compte la morphologie générale du corpus étudié. On va continuer et terminer ici cet exercice de modélisation.

Dernier rappel, enfin : les modèles exploratoires que l’on a fait tourner sur des tranches temporelles du corpus ont permis de détecter une sur-fréquence d’association entre les thèmes “Religion”, “Terrorisme” et “Violence”, mais de manière assez peu précise. On propose ici une modélisation un peu plus avancée de cette même fréquence.

Vu que les modèles exploratoires n’ont pas révélé d’effet temporel, et vu que les “unes” représentent aussi bien les choix de la rédaction de Charlie Hebdo que ceux de leurs illustrateurs, on va utiliser le corpus intégral des “unes”. Celles-ci proviennent largement des années 2009-2014, avec quelques “unes” avant et après :

2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 
   2    1   19   52   52   52   52   53   52    3

Une fois que les 1 311 mots-clés associés à ces “unes” sont présentés sous la forme du réseau de leurs co-occurrences, les mots-clés les plus fréquents figurent assez logiquement aussi parmi les plus centraux du réseau, c’est-à-dire ceux dont le degré (le nombre de liens avec d’autres mots-clés) est le plus élevé :

             keyword degree    theme freq
1            sarkozy    254   France   80
2  françois hollande    142   France   40
3          élections    136    Varia   42
4           religion    120 Religion   35
5         intégrisme     92 Religion   22
6                ump     84   France   17
7      marine le pen     82   France   25
8              crise     80    Varia   19
9             fillon     78   France   14
10                fn     72   France   23

Mais ce ne sont pas les fréquences brutes des mots-clés, et donc pas leur degré dans le réseau, qui nous intéresse. On va plutôt chercher à modéliser la fréquence relative des thèmes et de leurs associations, en s’intéressant tout particulièrement à l’association entre les thèmes “Religion” et “Violence”.

Le premier thème recouvre les 23 mots-clés directement liés aux trois religions monothéistes. Ces mots-clés apparaissent 133 fois dans le corpus :

antisémitisme, athées, benoit xvi, bible, burka, charia, coran, dieu, évêque, françois 1er, intégrisme, jesus, laïcité, lourdes, mahomet, opus dei, pape, prophète, ramadan, religion, torah, vatican, voile

Certains de ces mots-clés désignent déjà des actes violents, mais le corpus contient aussi d’autres mots-clés qui, sans être intrinsèquement liés à la religion, évoquent des actes violents. Ce second thème recouvre 14 mots-clés apparaissant 54 fois dans le corpus :

assassinat, attentats, discrimination, guerre, homophobie, incendie criminel, massacre, parricide, pédophilie, sexisme, torture, tueur de masse, violence, xénophobie

Enfin, on va rajouter à ce thème 7 mots-clés liés au terrorisme international, qui apparaissent seulement 14 fois dans le corpus :

al-qaida, 11 septembre, ben laden, jihad, mohamed merah, otage, terrorisme

Jetons un rapide coup d’oeil à toutes les associations thématiques possibles. Les plus fréquentes correspondent à des associations au thème résiduel “Varia”, qui contient tous les mots-clés non thématisés (“carbone”, “la poste”, “téléthon”, etc.), et au thème “Politique [française]”. Viennent ensuite les mots-clés “Religion” :

                         assoc freq
1              Politique-Varia  578
2                  Varia-Varia  544
3          Politique-Politique  465
4            Religion-Religion  131
5          International-Varia  122
6               Religion-Varia  103
7               Varia-Violence   85
8      International-Politique   69
9           Politique-Violence   51
10 International-International   47
11           Religion-Violence   42
12          Politique-Religion   40
13      International-Religion   32
14      International-Violence   23
15           Violence-Violence   13

C’est la fréquence d’association entre “Religion” et “Violence” que l’on va désormais chercher à mesurer, et encore une fois, pas de manière “brute”, comme dans le tableau ci-dessus, mais de manière relative : pour chaque co-occurrence de mots-clés, la probabilité d’association de ces thèmes est-elle plus ou moins importante que…

  • … l’association “monothématique” de deux mots-clés au sein d’un même thème ?
  • … leur association aux autres thèmes généraux, comme “France” et “International” ?
  • … toute autre association possible, notamment au thème résiduel “Varia” ?

Du coup, il nous faut un modèle probabiliste.

Modélisation

Sans repartir dans les détails d’une modélisation par graphes aléatoires exponentiels (ERGM), rappelons simplement qu’elle permet de mesurer les probabilités d’association évoquées plus haut, tout en contrôlant par n’importe quelle autre probabilité que l’on souhaiterait mesurer.

On va donc écrire une équation additionnant plusieurs probabilités :

  • la probabilité générale d’une co-occurrence de mots-clés1 ;
  • la probabilité dite “principale” d’apparition de chaque thème2 ;
  • la probabilité que ces deux mots-clés appartiennent à un même thème3 ; et
  • toutes les autres probabilités d’association entre thèmes4.

Dans cette équation, la catégorie “Varia” sert systématiquement de catégorie de référence : est-il plus ou moins probable, par exemple, de trouver ensemble deux mots-clés du thème “Religion” par rapport à la probabilité d’association, qu’on peut juger aléatoire5, de deux mots-clés du thème “Varia” ?

Ce premier modèle donne les résultats suivants. Les premiers chiffres sont les coefficients du modèle, qui sont exprimés en log-probabilités et qui donnent la direction et la taille de l’effet. Les chiffres entre parenthèses sont les erreurs standard, qu’on souhaite aussi petites (proches de 0) que possible.

edges                            -4.06 (0.05)

nodefactor.International         -0.38 (0.11)
nodefactor.Politique              0.28 (0.07)
nodefactor.Religion              -0.00 (0.12)
nodefactor.Violence              -0.11 (0.13)

nodematch.International           1.60 (0.26)
nodematch.Politique               0.93 (0.13)
nodematch.Religion                2.96 (0.26)
nodematch.Violence                1.59 (0.39)

mix.International.Politique       0.24 (0.17)
mix.International.Religion        1.00 (0.24)
mix.Politique.Religion           -0.05 (0.21)
mix.International.Violence        0.89 (0.27)
mix.Politique.Violence            0.20 (0.21)
mix.Religion.Violence             1.65 (0.24)
           
BIC                                109643.54

Comment lire les trois premiers “blocs” de résultats :

  • la probabilité générale d’une association est négative (c’est normal) ;
  • le modèle détecte moins d’associations avec les mots-clés du thème “International” ;
  • le modèle détecte plus d’associations avec les mots-clés du thème “Politique” ; et
  • les associations “monothématiques” (au sein de chaque thème) sont très probables.

En clair, on retrouve bien le réseau de co-occurrence que l’on étudie : on a beaucoup de mots-clés, qui sont loin d’être tous connectés entre eux ; certains mots-clés sont à la fois fréquents et fréquemment associés à d’autres ; et souvent, ces autres mots-clés sont du même thème que les premiers, en particulier en ce qui concerne la religion.

Ce résultat est-il logique ? Certainement : on pouvait s’attendre à ce que les mots-clés des “unes” de Charlie Hebdo soient souvent homogènes d’un point de vue thématique. Si l’on avait catégorisé les mots-clés à l’aide d’un nombre plus important de thèmes, le même résultat s’observerait certainement dans une mesure moindre.

Voilà pour les “effets-contrôle” du modèle. Republions à présent le quatrième bloc :

mix.International.Politique       0.24 (0.17)    
mix.International.Religion        1.00 (0.24)
mix.Politique.Religion           -0.05 (0.21)    
mix.International.Violence        0.89 (0.27)
mix.Politique.Violence            0.20 (0.21)    
mix.Religion.Violence             1.65 (0.24)

Les co-occurrences thématiques “International-Religion”, “International-Violence” et “Religion-Violence” ressortent clairement : ces trois thèmes sont liés, de différentes manières et à des degrés variables, dans les “unes” étudiées, et leurs associations sont plus probables que plusieurs des autres associations possibles.

Ce résultat est-il logique ? Certainement : lorsque les “unes” de Charlie Hebdo évoquent la religion et des actes violents comme le terrorisme (ou la pédophilie), c’est souvent en rapport à l’actualité internationale (en Syrie, au Vatican, …) plutôt qu’en rapport à l’actualité nationale, même si des exceptions existent, à des fréquences bien moindres6.

Validation

Vérifions ces premiers résultats en améliorant un peu le modèle. Les modèles, c’est comme le tuning de bagnoles : on peut toujours faire mieux (ou pire), en rajoutant ou en enlevant quelque chose. Objectif : rendre le modèle plus précis, pour valider la direction (le signe) et la magnitude (la taille) des effets (les coefficients).

Point de départ du raisonnement : le réseau que l’on étudie est en partie transitif. La transitivité, c’est quand les amis de vos amis sont aussi vos amis. Ici, la transitivité s’applique à la personne qui a codé les “unes” : certaines de ses sélections de mots-clés sont en effet susceptibles d’être transitives entre elles7.

Or, en systématisant certaines connexions, la transitivité augmente la probabilité d’observer certaines associations plus que d’autres, ce qui rend les coefficients de ces associations moins comparables entre eux qu’ils n’en ont l’air. De plus, on ne peut pas annuler la transitivité du réseau : elle en fait structurellement partie.

En revanche, si l’on mesure la transitivité à part, on neutralise son effet de distorsion sur les coefficients. Il y a plusieurs méthodes, bien décrites par Hunter et Snijders. En voici un premier exemple, où l’on reprend le modèle précédent en rajoutant un dernier terme servant à capturer une partie des transitivités :

edges                           -5.23 (0.08)

nodefactor.International        -0.31 (0.21)
nodefactor.Politique            -0.04 (0.15)
nodefactor.Religion             -0.52 (0.29)
nodefactor.Violence             -0.22 (0.29)

nodematch.International          1.26 (0.49)
nodematch.Politique              0.98 (0.35)
nodematch.Religion               3.28 (0.67)
nodematch.Violence               0.29 (1.30)

mix.International.Politique      0.30 (0.36)
mix.International.Religion       0.85 (0.63)
mix.Politique.Religion           0.32 (0.52)
mix.International.Violence       0.42 (0.70)
mix.Politique.Violence           0.29 (0.43)
mix.Religion.Violence            2.16 (0.50)

gwdsp.fixed.1                    0.05 (0.00)

BIC                                16095.79

Les coefficients proches de zero ont changé de signe pour certains : ce n’est pas plus grave que ça, c’est même mieux8. En revanche, la magnitude des coefficients a pas mal augmenté pour certains effets, et notamment pour les effets qui nous intéressent le plus : l’homophilie “Religion” et l’association “Religion-Violence”.

Le résultat dont je n’ai pas encore parlé (le BIC) est une valeur qui se compare d’un modèle à l’autre pour voir si tel modèle est plus “performant” qu’un autre. Le critère de performance est bien meilleur dans le second modèle ; un seul paramètre en plus pour un BIC divisé par 10, c’est même vraiment pas mal.

Dernière vérification, on prend une autre méthode d’absorption des transitivités, on la teste à plusieurs valeurs de son paramètre alpha (cf. l’article de Snijders, précité, p. 143), puis on regarde l’effet sur les coefficients. Si tout se passe bien, l’effet et les erreurs standard ne varient pas trop, ce que l’on observe ici :

ergm_sensitivity

Conclusion

On a identifié un modèle qui donne des résultats à peu près stables autour de l’association, positive, entre les thèmes “Religion” et “Violence”. C’est loin d’être la seule association possible, mais c’en est une qui ressort des données, aussi bien lues “à plat” ou au moyen d’une modélisation des co-occurrences de mots-clés.

Pourquoi une association si forte, d’ailleurs, dans les modèles ? Très probablement parce que les thèmes “Religion” et “Violence” sont les plus homogènes de nos catégories thématiques : en conséquence, l’effet d’association est très identifiable, et très bien identifié, ce qui n’est pas le cas pour tous les autres thèmes, plus diversifiés.

J’écrirai ce que j’en pense dans l’épilogue de cette série de billets “Charlie Hebdo”, dans quelques jours. Et comme d’habitude, le code des modèles a été rajouté au code de l’analyse, histoire que vous puissiez essayer de votre côté, et/ou qu’un meilleur utilisateur des ERGM puisse me guider vers une meilleure spécification.

  1. Soit l’équivalent d’une ordonnée à l’origine. []
  2. En jargon “réseaux” : les fréquences des attributs ; en jargon ERGM : les main effects. []
  3. En jargon “réseaux” : les homophilies uniformes ; en jargon ERGM : la propension au node match. []
  4. En jargon “réseaux” : les mixes d’attributs ; en jargon ERGM : la propension au node mix. []
  5. Cette propriété vient de la largeur et de l’hétérogénéité de cette catégorie : le thème “Varia” contient 235 mots-clés différents apparaissant 573 fois dans le corpus. []
  6. Il n’y a que deux “unes” ayant trait aux attentats du 7 janvier 2015, et la “une” de Charlie Hebdo n°1060 sur Mohamed Merah n’est en fait pas consacrée au terrorisme. []
  7. Par exemple, si une “une” prend les mots-clés « présidentielle », « élections » et « sarkozy », et qu’une autre prend les mots-clés « européennes », « élections » et « sarkozy », alors les deux mot-clés « présidentielle » et « européennes » se retrouvent associés au mot-clé « sarkozy » par transitivité. []
  8. Indeed, les signes des coefficients sont maintenant uniformes par effet (tous positifs ou négatifs). []