J’ai souri en lisant les vignettes d’une doctorante qui a fait son coming-out geek.
Dernière manipulation geek en date : une étudiante a eu une idée originale pour un cours de statistiques, où elle a décidé d’analyse un échantillon des trois millions de tweets #iranelection envoyés lors de l’élection iranienne. Son échantillon commence le 19 juin 2009, et son filtre a récupéré principalement des tweets en langue anglaise, avec quelques observations en Farsi et dans d’autres langues. Le fichier qu’elle m’a fourni contient 45 000 observations environ.
Pour lui fabriquer un échantillon plus maniable, j’ai appliqué la méthode suivante :
- Assigner un nombre aléatoire entre 0 et 1 à chaque ligne.
- Ordonner les observations par ce numéro.
- Extraire les 4000 premières entrées vers un nouveau fichier.
- Recommencer, extraire les 3000 premières.
- Recommencer, extraire les 2000 premières.
L’opération sous Excel m’a créé un fichier d’environ 165MB qui a bien ralenti mon système, mais le fichier final est correctement échantillonné. Ensuite, il a fallu appliquer pas mal d’expressions régulières, du genre \|en\|(.*).jpg\|, pour nettoyer les données, ce qui m’a valu de perdre 144 observations mais de terminer avec un fichier CSV presque directement exploitable, après deux heures de manipulation.
Vos suggestions sur comment analyser le fichier sont les bienvenues ! Comme le cours se déroule sous Stata, j’ai pensé lui faire utiliser wordscores, mais il y a certainement une meilleure méthode pour analyser le corpus.
OpenEdition vous propose de citer ce billet de la manière suivante :
François (21 octobre 2010). Geek stuff. Polit’bistro. Consulté le 4 décembre 2024 à l’adresse https://doi.org/10.58079/symk
bonjour
j’ai toujours chercher comment générer un chiffre aléatoirement dans excel, sans jamais savoir comment. Comment faites vous?
{=RAND()} pour générer sur une sélection de cellules, ou simplement =RAND() pour une seule cellule. Le résultat n’est pas terrible au niveau mathématique (Excel n’est pas très fort sur la randomisation), je conseille donc de faire la moyenne de plusieurs RAND() pour obtenir quelque chose de plus authentiquement aléatoire.
Merci.
Je ne comprend pas trop pourquoi vous faites ce ré-échantillonnage. Est-ce pour diviser les données en plusieurs fichiers? Dans ce cas, pourquoi prendre moins d’observations a chaque itération ?
Et puis en temps que geek autoproclamé, je me permet un cri du cœur: Excel! Par pitié, pas Excel.
Le codage des tweets sera effectué en grande partie à la main par l’étudiante, à qui j’ai donc fortement conseillé de travailler sur un échantillon de moins de 45 000 entrées… Et sur Excel, oui, je sais, et je suis d’accord ! Sauf que pour certaines tâches comme celle-ci, Excel est assez rapide et très efficace.