Persée.fr libère ses données !

Il y a bientôt deux ans, j’avais écrit un peu de code pour récupérer des informations sur le sous-espace éditorial constitué par les articles publiés dans les revues du portail de revues scientifiques Cairn.info.

À l’époque, j’avais aussi commencé à écrire le code pour faire la même chose avec Persée.fr, mais n’avais pas persévéré : le code HTML des pages était beaucoup plus lourd à manier que celui de Cairn.info, et les possibilités de chaînage entre les deux plateformes trop limitées.

Ces barrières techniques viennent de tomber : Persée a récemment lancé son portail « open data » (qui s’appelle, ne me demandez pas pourquoi, un « triple store« ), où l’on peut désormais récupérer toutes les métadonnées des articles publiés sur la plateforme dans un joli format RDF !

Les équipes de Persée.fr ont vraiment bien fait les choses : le portail peut être interrogé en SPARQL, et les identifiants des individus (auteurs, éditeurs, etc.) sont alignés sur le référentiel IdRef que l’on retrouve sur SUDOC et sur Thèses.fr (voir ce billet).

À l’heure où j’écris ce billet, je n’ai fait que lire la documentation du portail, qui explique très bien les choix (judicieux) de l’équipe à l’initiative de son lancement. Plus de nouvelles quand j’aurai un peu joué avec les données.

Open Data for Urban Research, version 2016

Au semestre dernier, j’ai participé à la nouvelle version de ce cours :

syllabus-odur-2016

La thématique du cours est désormais bien assise dans l’espace médiatique – qui n’a pas encore survolé la carte des loyers parisiens ? –, et elle donne aussi lieu à toutes sortes d’innovations intéressantes dans le secteur privé1.

Le cours a sa petite histoire : il y a quelques années (trois ans, si je me souviens bien), le Master Governing the Large Metropolis a accepté d’inclure, dans sa deuxième année, un atelier un peu baroque, et développé à l’époque avec Antoine Jardin. L’atelier contenait des « stats » (multi-niveaux) et de « l’open data » – avec l’intention de montrer les apports croisés de l’approche « par les modèles » et « par les données ».

L’atelier a lentement mûri, et la section « open data » vole désormais de ses propres ailes, avec une visite au PC Lutèce, un atelier basé sur l’Open Data Census, et des séances plus traditionnelles, basées sur la sociologie de la quantification—d’où la longue bibliographie sur le sujet dans le plan de cours, qui intéressera peut-être les copains qui travaillent sur ce thème – Émilien et Béatrice, par exemple.

Je profite de ce billet pour signaler à nouveau le lancement, au semestre dernier, de Datactivist, avec Joël et Samuel aux commandes :

datactivi.st est une coopérative en cours de création qui se donne pour mission de mettre les données ouvertes au service de la société civile et des citoyens.

À suivre sur Twitter.

  1. Voir, par exemple, l’article « Les données comme première trame urbaine » sur le « blogue urbain » du Devoir. Notez que toutes les « innovations » du moment ne se valent pas : je ne comprends toujours pas le « hype » autour du concept de « smart cities« , mais je me soigne. []

Ce soir au Tank à Paris : R et la data science au service de l’action publique

r-action-publique-2016-11-15-1

Joël et Samuel, avec qui nous enseignons le cours « Open Data in Urban Research » et qui sont en train de lancer leur entreprise, Datactivist, m’ont gentiment invité à intervenir ce soir dans cette conférence qu’ils co-organisent avec Open Data France :

conf-tank

La description complète de la conférence, qui fait partie du programme de la Semaine de l’innovation publique, suit, avec quelques liens et retours chariot supplémentaires :

La data science promet une transformation en profondeur de l’action publique. Comment fait-on parler les données publiques ? La data science doit-elle rester une affaire de spécialistes ?

Depuis la nomination d’Henri Verdier en tant qu’administrateur générale des données, de nouvelles organisations publiques annoncent régulièrement la nomination d’un Chief Data Officer en charge de l’application des méthodes de la data science aux données, en particulier ouvertes, de l’administration.

Mais concrètement comment fait-on parler les données publiques ? Avec quels outils ? La data science doit-elle rester une affaire de spécialistes ?

À l’occasion de la publication d’une formation d’introduction au logiciel R, véritable « couteau suisse » de la data science, la coopérative datactivi.st et l’association Open Data France proposent de discuter concrètement des outils et des méthodes qui permettent de « faire parler les données », autour d’une table ronde avec notamment :

Diane Beldame, data scientist, formatrice à R chez ThinkR

François Briatte, vétéran de la ligne ferroviaire TGV surtarifée Paris-Lille à des horaires tardifs ou matinaux

Jean-François Eudeline, administrateur de l’Insee, chef du service des études et de la diffusion à l’Insee Normandie

Christophe Libert, Responsable du service innovation numérique de la région Ile de France

Voici ma très brève présentation, qui évoque notamment les réseaux de collaboration parlementaire dont j’ai souvent parlé sur ce blog depuis quelques années. Quelques slides tirées de la présentation ci-dessous :

r-action-publique-2016-11-15-2

r-action-publique-2016-11-15-3

r-action-publique-2016-11-15-4

Ça se passe au Tank, la salle de Spintank, à 19h. Pensez à réserver sur Meetup !

r-action-publique-meetup

Mise à jour : tout était filmé ! Si j’avais su, je serais passé chez le coiffeur. Vidéo ci-dessous, avec plein de choses intéressantes de la part des intervenants et de Joël.

J’ai manqué de précision sur plusieurs des choses que je mentionne dans ma présentation, mais les liens que je fournis dans les slides devrait suffire à reconstituer l’essentiel.

Open data et politique de santé

L’apéro Science & Web #33 de jeudi prochain à La Penderie sera consacré à l’open data en santé, qui pose toutes sortes de questions similaires à celles que l’on peut trouver dans l’histoire des politiques de surveillance épidémiologique.

Si le sujet vous intéresse, j’y ferai un petit topo au croisement de cette recherche, dont j’ai déjà résumé le contenu, et du contexte français actuel, qui ne ressemble pas à ce qui se fait dans d’autres systèmes de santé. Pour changer, il n’y aura pas de code R.

Ça commence à 19h30, pendant les happy hours.

Mise à jour #1 : on a raisonnablement profité des happy hours. La suite à l’Open Data Day de l’Open Knowledge Foundation, ce samedi !

Mise à jour #2 : une partie de cette intervention a été publiée dans un article co-écrit avec Samuel Goëta, et publié par la revue Statistique et société, déjà évoquée ici.

Le numéro spécial porte sur les données de santé et contient des contributions de spécialistes du SNIIRAM, de la cohorte Constances et de plein d’autres choses. Servez-vous, c’est gratuit et en ligne.

Screen Shot 2014-06-10 at 7.37.52 PM

Aperçu des technologies de data mining sur le blog Quanti / sciences sociales

Deux amis viennent de publier un excellent texte sur un blog voisin : “Vers une ‘data-sociologie’ ? Tour d’horizon des techniques de collecte automatisée de données sur le web”. Fortement conseillé pour se mettre à jour sur les outils francophones disponibles en ligne pour s’initier au data mining.

Je suis notamment curieux de connaître les possibilités de scraping pour les articles de presse de Factiva grâce à “Tirésias”, un logiciel de l’équipe Prospérologie. À titre d’exemple de data-sociologie, un doctorant de l’OSC a aussi commencé à rédiger un package Factiva pour R : là aussi, j’attends de voir ce qu’il est possible de faire avec, quand j’aurai enfin compris comment exporter en XML depuis ce service.

Comme l’invite à penser l’exemple de Factiva ci-dessus, les avancées de la data-sociologie dépendent largement des formats dans lesquels il est possible de télécharger des données. Le développement de l’open data et le travail de certaines associations comme Regards Citoyens ont fait un peu avancer la réflexion à ce sujet. Des institutions comme la Banque mondiale, Eurostat ou l’OCDE font aussi des efforts d’harmonisation autour de formats communs, comme le format SDMX.

Portofolios académiques

J’ai déouvert, il y a quelques mois, que Dan Sperber avait mis en ligne toute sa production de recherche. Pourquoi la pratique de mettre en ligne ses publications, et autres documents connexes, n’est-elle pas plus répandue en France ?

  • Parce qu’il n’existe pas de demande correspondant à cette offre ? (peut-être)
  • Parce que la propriété intellectuelle l’interdit ? (peut-être, même si c’est faux)
  • Parce que les plagiats se multiplieraient ? (peut-être, même si c’est également faux : la numérisation augmente les opportunités mais diminue les plagiats non détectés)
  • Parce que cela serait conçu comme une démarche mégalomane ? (peut-être, mais bof…)
  • Parce que la pratique représente une coût trop élevé ? (peut-être, mais bof aussi…)
  • Parce que les chercheurs ne produisent rien ? (sans commentaire)

Honnêtement, je ne sais pas, mais je remarque un fossé culturel entre les États-Unis et l’Europe, en plus d’un fossé disciplinaire, sur cette pratique “open source” de la publication scientifique. Dans les disciplines où la possibilité de réplication des résultats et l’analyse secondaire des données existantes sont des impératifs quasi-catégoriques, la mise en ligne est très recommandée, et l’absence de mise en ligne presque suspecte.

Jeremy Freese a écrit un texte très élaboré sur le sujet, où il invite la sociologie à rejoindre les autres disciplines déjà converties à l’open-source social science, mais le texte porte sur les données, et la seule objection sérieuse concerne la confidentialité de certaines d’entre elles. Concernant les publications, il n’y a vraiment pas d’objection sérieuse.

Le double argument sur la propriété intellectuelle témoigne d’un manque de connaissance flagrant du droit et de l’économie des biens culturels et scientifiques ; il est apparemment invoqué par certains réfractaires à la plateforme HAL-SHS. L’argument “mégalomane” suppose qu’il n’existe aucune autre forme d’orgueil scientifique, ce qui est plus que vraisemblablement faux.

Il reste le coût de la pratique, calculé en temps passé à effectuer la mise en ligne, mais si d’autres y arrivent, alors même qu’ils doivent être bien occupés par ailleurs, c’est qu’un facteur supplémentaire rentre en ligne de compte. Le coût technique lui-même ne peut pas jouer un rôle majeur, car il est faible. Il n’y a pas non plus de fossé “générationnel”.

Je pense que le premier facteur est celui qui joue le plus : la règle mertonienne concernant la publicité des travaux scientifique n’a jamais pesé très lourd, la demande de réplication est encore plus faible que la demande de consultation, et il n’y a pas, comme dans le monde artistique, un public de consommateurs et de recruteurs plus large que le monde académique lui-même, dont on suppose qu’il a déjà accès aux textes d’une autre manière.

Que ces postulats soient faux, au moins en partie, n’a pas d’importance : s’il fallait établir la liste des raisons pour lesquelles les portofolios académiques n’existent qu’à l’état résiduel dans des disciplines comme la mienne, je produirais la liste ci-dessus. Je suis tenté de rajouter un point sur l’anti-américanisme, l’esprit de paroisse face à l’impérialisme linguistique, mais je n’oserais pas déclencher une nouvelle guerre des Gaules.

Expressions régulières (et disponibilité des données)

J’ai déjà évoqué les “regex” au sujet du nettoyage de données : il s’agit d’une chaîne de caractères qui permet de sélectionner des extraits de n’importe quel texte en se basant sur une syntaxe régulière, et de les remplacer par autre chose. Savoir se servir des expressions régulières rend un nombre de services incalculable.

Il existe des variantes intéressantes de ce procédé. Voici une ligne de code pratique pour renommer des fichiers dans un terminal Unix ou Mac OS X, et qui utilise une expression régulière1 très basique :

ls Bild*.jpg | awk '{print("mv "$1" "$1)}' | sed 's/Bild/Photo/2' | /bin/sh

Mon téléphone portable est configuré en allemand (ne me demandez pas pourquoi), et les photos qu’il prend sont appelées “Bild0561.jpg”, “Bild0562.jpg” et ainsi de suite. Cette ligne de code remplace “Bild” par “Photo”.

Sous Stata, un procédé similaire est utilisé par la commande non-native renvars qui permet de renommer des groupes de variables en une seule ligne. Outre les noms de variables, les expressions régulières permettent d’effectuer certaines étapes de la préparation de données très rapidement.

Les applications ne manquent pas. Les premiers principes de manipulation s’apprennent très vite, et ils économisent des heures de travail manuel, à condition d’avoir un éditeur de texte – comme TextMate sur Mac OS X – qui permet d’utiliser les expressions régulières dans sa fonction find/replace.

Ce type d’outil devient très pratique dès lors que l’on cherche à travailler sur des données originales, assemblées par ses propres soins ou qui n’existent pas sous la forme de dataset dans l’un des formats courants en analyse quantitative. La faible visibilité des travaux de recherche souffre de ce travers supplémentaire que les données des auteurs sont rarement publiques.

Heureusement, même si la pratique qui consiste à publier ses données dans un format exploitable reste encore très faible, elle est au moins reconnue comme bonne pratique. Je cite souvent un texte de Jeremy Freese sur ce sujet, et je suis régulièrement le développement de Dataverse, la plateforme de publication de données promue par Gary King. La France n’a pas encore trouvé ses porte-étendards de l’open data access.

Un exemple récent : en lisant un compte-rendu d’ouvrage2 écrit par Nicolas Mariot, j’ai voulu récupérer les données du vote qui amène Adolf Hitler au pouvoir le 23 mars 1933. Par chance, Gary King a travaillé sur le sujet, et a publié ses données.

(Avez-vous remarqué que les trois chercheurs cités dans cette note disposent tous d’un site Internet ? Une autre forme de disponibilité publique.)

  1. Add. février 2013 : en réaction à ce billet, un ami m’a fait remarquer il y a fort longtemps que « * » n’était pas une « regex » mais un caractère « catch-all » (attrape-tout) que l’on appelle une « wildcard« . Désolé Alexandre de n’avoir corrigé ce billet que plusieurs années après cette juste remarque. []
  2. À noter : ce texte est en accès libre grâce à la revue Sociologie et à sa plateforme de diffusion, basée sur un partenariat entre Revues.org (gratuit) et Cairn (payant). Ce modèle de publication est le plus moderne à mes yeux. La prochaine étape sera l’open access intégral, mais c’est un autre débat. []

La sociologie électorale, la nouvelle généalogie ?

Il est des disciplines savantes qui intéressent un large public, qui les pratiquent, avec parfois autant voire plus de savoir-faire, de temps et de passion que les savants professionnels. A titre d’exemple, évoquons la généalogie ou l’astronomie, dont l’engouement auprès d’un large public ne se dément pas. D’un pur point de vue scientifique, et bien que d’aucuns seraient tentés de dénigrer l’incursion du profane dans leur champ, cette participation des amateurs est très profitable : ils disposent en effet d’une ressource rare, le temps, qui fait souvent défaut au scientifique professionnel (quiconque a déjà fréquenté les archives sait qu’on y trouve essentiellement des retraités se livrant à des recherches généalogiques). De plus, les effectifs d’amateurs, bien supérieurs à ceux des chercheurs professionnels, permettent depuis longtemps ce qu’on appellerait, à l’heure du web 2.0, le « crowdsourcing ». L’histoire de l’astronomie est là pour en attester, puisque de nombreux objets stellaires ont été découverts par des amateurs. De même, la connaissance généalogique acquiert grâce au travail de fourmis de milliers de passionnés une ampleur qui serait sinon impossible.

Le même phénomène serait-il en train de se produire avec la sociologie électorale ? Peut-être bien. Plusieurs indices concordent. Ainsi, la Coopol, développée par l’équipe de Benoît Thieulin, vient de lancer un outil permettant aux militants socialistes de mener leurs campagnes électorales. N’étant pas membre du PS, je n’ai pu tester cet outil, et doit donc m’en remettre aux explications données par le communiqué du PS. Elles sont relativement floues : je ne sais pas quel est le découpage territorial choisi (probablement des IRIS, vu la taille de 2000 habitants par unité annoncée), et si certaines données sont classiques (part des différentes CSP, résultats électoraux), d’autres sont plus mystérieuses (« abstentionnistes de gauche » et « indécis ») : le communiqué indique qu’elles ont été « élaborées par des chercheurs qui travaillent sur des enquêtes d’opinion ». Dans ces conditions, je serais curieux de savoir comment ces données ont été géolocalisées au niveau des IRIS…

Autre initiative, un peu différente : celle lancée par plusieurs acteurs du Net, plutôt orientés web social et 2.0 (owni.fr, 22 mars, la Netscouade, Regardscitoyens.org…), et intitulée « Libérons les bureaux de vote ». Il s’agit, en recourant au crowdsourcing, de constituer une base de données de tous les bureaux de vote français en les géolocalisant. Les utilisations qui pourraient être faites de ces données ne sont pas explicitement mentionnées ; compte tenu des initiateurs de l’opération, on peut imaginer qu’elles servent aussi bien pour des usages non lucratifs et « citoyens » que dans le cadre – marchand – des activités de conseil de 22Mars ou la Netscouade. Je ne serais ainsi pes surpris de retrouver un jour ces données sur la Coopol…

En tout état de cause, et dès lors que ces données seront publiques et exploitables, ces initiatives – qui s’inscrivent, au moins pour la deuxième, dans un mouvement assez large de revendication de publicisation des données produites par les gouvernements ainsi que de « data journalism » – me semble très positif à tous égards. Je pense qu’il est bon que le commentaire sur la chose électorale cesse d’être un discours ésotérique, que seuls quelques initiés – généralement nourris de sondages… – seraient autorisés à tenir. Avec des données ouvertes, chacun pourra tester, retester, vérifier, falsifier les discours tenus sur ces sujets dans l’espace public. Ce sera sans doute parfois à tort et à travers – et ce d’autant plus que le grand public comme les journalistes manquent, en France, de culture statistique. Mais gageons que les choses ne feront que s’améliorer de ce point de vue.

Dernière chose : on peut s’étonner de l’absence , totale pour autant que je puisse en juger, des électoralistes professionnels de ces projets. Désintérêt de leur part ? Manque d’affinités avec la culture web sous-jacente à ces initiatives ? Méfiance de la part des initiateurs de ces projets ? Je ne sais. Je suis pourtant persuadé que ces deux mondes, savants de la chose électorale et amateurs éclairés et intéressés à divers titres, auraient beaucoup à gagner à se rencontrer, échanger et collaborer.