Extraire un réseau de coauteurs depuis la base PubMed

La base MEDLINE contient environ 23 millions d’articles scientifiques, accessibles via le moteur de recherche PubMed depuis une vingtaine d’années. Ces articles sont utilisés pour toutes sortes d’analyse, des méta-analyses aux analyses de communautés sémantiques. La base PubMed, c’est très littéralement du big data, et les chercheurs comme les entreprises le savent depuis un bail1. …

Extraire un corpus médiatique sans (trop) saigner des yeux

Vous vous êtes déjà demandé quelle avait la couverture médiatique d’un projet de loi comme le projet de loi DADVSI ? ou, plus connu, le projet de loi HADOPI, qui donna lieu à un feuilleton législatif de plusieurs années ? J’avais très rapidement mentionné le sujet en évoquant un papier co-écrit avec Pierre Gueydier, présenté …

Big Data Fail ?

La base de données GDELT (Global Database of Events, Language, and Tone), déjà mentionnée ici, donne enfin lieu à quelques analyses précises. Les résultats sont sans équivoque : la base, qui contient plusieurs millions d’articles sur toutes sortes d’événements à travers toute la planète, ne sert pas à grand chose pour le moment. Les problèmes …

Utiliser les résultats électoraux du ministère de l’intérieur

Toux ceux qui ont eu à utiliser un jour ou l’autre les fichiers de résultats électoraux diffusés par le ministère de l’Intérieur français savent que ceux-ci nécessitent un assez lourd travail de mise en forme afin d’être exploitables, en tout cas pour les élections pour lesquelles l’offre électorale n’est pas homogène sur le territoire (c’est-à-dire …

Toutes les interventions plénières des eurodéputés, en 100 lignes (de code)

Mise à jour, juin 2015 : si ce billet vous intéresse, allez voir le travail de Derek Greene et James P. Cross, qui ont modélisé les documents décrits ci-dessous de manière plus fine que ce que j’avais codé. Quelques notes tirées de trois conversations sur les sept derniers jours. C’était plus long à décrire qu’à …

Derniers graphiques avant 2014

En faisant tourner à nouveau les scripts de réseaux législatifs dont j’ai déjà parlé plusieurs fois ici, j’ai pu vérifier les résultats précédents sur des données un peu plus propres (merci Regards Citoyens) et étendues à tous les amendements de l’année qui se termine : Mais j’ai aussi pu vérifier (cf. la fin de cette …

Quantification du travail parlementaire, pour quelques variables en plus

À l’occasion d’un coup de ménage estival, voici une mise à jour prévue depuis longtemps au dossier flegscrap, qui permet de récupérer les documents déposés sous les cinq dernières législatures de l’Assemblée nationale : [image depots.year.png effacée, désolé ; voir les nouveaux graphes ] Collecter des données pendant la session législative implique de récupérer des …

GDELT : la science politique devient une “big data science”

Ça vous dit, un jeu de données avec 200 millions d’événements géopolitiques de 1979 à aujourd’hui ? Mis à jour quotidiennement ? Suivez cet acronyme : GDELT, pour “Global Data on Events, Location and Tone”. Mise à jour : il est vivement conseillé de lire cet autre billet avant de passer du temps sur les …

Expressions régulières (et disponibilité des données)

J’ai déjà évoqué les “regex” au sujet du nettoyage de données : il s’agit d’une chaîne de caractères qui permet de sélectionner des extraits de n’importe quel texte en se basant sur une syntaxe régulière, et de les remplacer par autre chose. Savoir se servir des expressions régulières rend un nombre de services incalculable. Il …

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search