{"partition": "head_middle", "source_domain": "quanti.hypotheses.org", "digest": "sha1:5HIBYD6ERKJ3UBRV7LSUG5SBQ7MBCYHQ", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00040.parquet"}
QUANTI / sciences sociales
Ressources électroniques
Vers une “data-sociologie” ? Tour d’horizon des techniques de collecte automatisée de données sur le web
3 octobre 2012 Par Alexandre Hobeika et Étienne Ollion	Ces vingt dernières années ont vu le développement de techniques et d’outils informatiques qui permettent d’automatiser la collecte et la mise en forme de données, en particulier celles provenant d’internet[1]. Plus puissantes et plus faciles d’accès, ils sont aussi de plus en plus utilisés dans de nombreuses professions. Leur diffusion intéresse donc les chercheurs en sciences sociales, à la fois parce qu’elles permettent de collecter rapidement des informations sur divers aspects du monde social, mais aussi parce qu’elle conteste un peu plus leur monopole dans la production de données quantitatives. On se propose ici de réaliser un rapide tour d’horizon sur cette question qui souligne le potentiel, et évoque certains enjeux, du recours croissant à ces méthodes pour nos disciplines1.
La collecte automatique de données : première approche
La collecte automatisée de données[2] (CAD) consiste à utiliser des techniques informatiques (que ce soit l’écriture d’un programme, ou l’utilisation un logiciel préexistant) en vue de faciliter la constitution d’une base de données. Ces outils sont assez divers : certains visent juste à mettre en forme des données déjà contenues dans divers fichiers ou dossiers ; d’autres consistent à collecter des informations via internet ; d’autre encore permettent d’étudier des interactions en ligne sur internet (sites de rencontres2, commentaires, réseaux sociaux, etc.). Elles visent surtout à automatiser tout un ensemble de tâches qu’il faudrait autrement faire à la main, et permettent d’importants gains de temps — voire de compiler un nombre d’informations impossible avec une collecte classique.
Pour prendre un exemple concret, on peut vouloir chercher à déterminer les prix de l’immobilier dans une zone donnée. Une solution consiste à chercher des données officielles (cadastre), ou celles offertes par des professionnels de l’immobilier. Mais ces informations n’existent pas toujours, pas forcément au niveau d’agrégation que l’on souhaite, ou elles comportent des biais qui les rendent inutilisables. Une solution alternative peut alors consister à consulter les petites annonces, comme les journaux de « particulier à particulier ». Si la compilation pour une zone donnée (une ville, un quartier) des informations utiles (prix, nombre de pièces, surface) serait particulièrement longue, il est par contre relativement aisé de compiler des milliers d’annonces de ce type avec un petit programme, et ainsi de ne pas être captif des informations produites par d’autres. On peut ainsi recréer ses propres indicateurs : distance à une station de métro, au centre-ville, à des services, etc.
Des outils de plus en plus utilisés Ces techniques, initialement utilisées par des informaticiens, sont actuellement en plein développement. Cette croissance exponentielle a plusieurs sources. D’abord, l’apparition dans les années 1970 des langages de programmation de « haut niveau » et leur simplification continue depuis rendent la programmation plus aisée. Il n’est plus nécessaire d’être un informaticien avancé pour comprendre, manipuler, voire créer des programmes, en particulier de collecte automatique de données. Par ailleurs, l’usage généralisé de l’informatique par des particuliers (micro-informatique) comme d’Internet (et encore plus depuis le milieu des années 2000, où les usagers contribuent à créer de l’information en plus de la lire, notamment par la multiplication des interactions en ligne) font que tout le monde est désormais susceptible de laisser des traces, dont le chercheur peut être tenté de faire son miel, étant donné que les coûts matériels sont pratiquement nuls.
Ces techniques se diffusent très rapidement, en particulier dans un ensemble d’espaces professionnels voisins des sciences sociales. L’informatique, aussi bien universitaire, commerciale, que bénévole, travaille à les perfectionner. Les entreprises investissent des budgets gargantuesques dans ces méthodes dans l’espoir mieux connaître leurs consommateurs, actuels ou potentiels. Les sommes croissent à une vitesse astronomique, et ne semblent pas en passe de ralentir. Des entreprises de marketing sont même entièrement spécialisées dans « l’étude de l’opinion » via internet (opinion mining) et vendent des analyses basées sur une analyse quantitative des blogs, forums, et réseaux sociaux.
Dans le monde des médias enfin, le recours à ces techniques a aussi partiellement réorganisé la profession. En moins de dix ans, le journalisme de données (ou data-driven journalism) est passé d’une technique apprise sur le tas à une spécialité dont l’institutionnalisation est en cours. L’évolution du terme censé désigner la pratique est un indice de ce changement : le « computer-assisted reporting » s’est développé en un journalisme de donnée de plein droit. La formation initiale dans les écoles d’apprentissage du métier comporte désormais des modules (et pour certaines des spécialités) dans ce domaine, et après quelques sites spécialisés (www.owni.fr) et des rédactions pionnières (Le Guardian en Grande-Bretagne, le Los Angeles Times aux États-Unis), les principaux journaux recrutent des journalistes de données, une spécialité qui a remis ses premiers trophées internationaux en juin 2012.
En quoi cela nous concerne-t-il ?
En sciences sociales, ces techniques ont depuis longtemps été adoptées par les chercheurs intéressés à l’analyse exploratoire de données (data mining). Comme pour leurs homologues du marketing, avec lesquels ils ont en partage des techniques, leur objectif est de faire émerger des faits pertinents à l’intérieur d’un ensemble trop vaste pour être étudié manuellement, et à propos duquel ils n’ont pas formé d’hypothèses préalables.
Dans plusieurs pays, le data mining connaît un renouveau. En France, plusieurs chercheurs et équipes travaillent dans ce domaine. Certains, intéressés d’abord aux activités en ligne[3], ont saisi les opportunités qu’offrait leur objet de recherche pour collecter plus généralement des données, sur des individus, des interactions, ou des populations entières. D’autres le font dans la continuation d’un travail sur le langage. C’est le cas des développeurs de Prospéro, logiciel pionnier dans l’analyse de controverses, ont également créé un petit outil, spécialisé mais très efficace, pour interroger des grandes bases d’intérêt général comme les textes parlementaires ou la presse (Factiva), appelé Tirésias[4]. L’équipe réunie autour du logiciel open source CorTexT s’intéresse aussi aux analyses lexicométriques et propose des études réticulaires de controverses.
Signe de la jeunesse d’un sous-champ encore peu institutionnalisé, les sociologues les plus actifs dans ce domaine se trouvent dans des espaces mixtes, que ce soit le laboratoire de Recherche et Développement d’Orange[5], dans des écoles d’ingénieur (comme c’est le cas d’Antonio Casilli[6] à l’ENST[7], aussi rattaché à l’EHESS). Signe, à l’inverse, de l’institutionnalisation de la pratique, Sciences-Po Paris a récemment ouvert une unité spécifique en partie consacré à ce domaine et dotée de moyens conséquents, le Médialab[8]. Des chercheurs isolés se forment également par leurs propres moyens, et publient sur internet des exemples d’applications qu’ils ont eux-mêmes utilisés, ce qui fournit un début de matériel pédagogique[9]. Enfin, des travaux commencent à prendre ces techniques et leur histoire comme objets d’étude, dans le prolongement des études d’histoire de la quantification[10].
Les politiques de l’open data
L’usage de « big data » a été favorisé par la mise à disposition gratuite et immédiate de bases de données par plusieurs institutions qui les produisaient. Suite à la montée des revendications en faveur de l’open information sur internet, courant qui défend un usage libre de droits de propriété des outils et informations du web, un mouvement en faveur d’une politique de « données ouvertes » [open data] a vu le jour. La revendication principale de ses partisans est l’accessibilité la plus rapide et complète possible des données des services publics et des administrations. L’objectif de transparence de l’État et de collaboration entre usagers et administration, qui s’inscrit dans une perspective plus large de démocratie participative, se double d’une volonté de déléguer la gestion de certaines tâches (informations sur le trafic, la météo, la pollution, etc.) à des particuliers ou à des entreprises.
Au niveau des administration, l’open data se développe à des rythmes différents selon les pays. Les États-Unis ont été les premiers à créer un portail recensant les données disponibles (www.data.gov), avant d’être suivi par d’autres. En France, l’Etalab (www.data.gouv.fr) a été créé en 2011 : il recense des données aussi différentes que les statistiques du commerce extérieur, des infractions au code de la route ou l’inventaire du patrimoine immobilier de l’État. On y trouve aussi les résultats détaillés des élections, les indicateurs de résultat des lycées, ou encore des statistiques sur les établissements de santé qui peuvent intéresser au premier chef les chercheurs en sciences sociales[11].
Quelques utilisations en sciences sociales Afin de préciser les usages possibles de ces techniques, il n’est pas inutile de s’arrêter sur des exemples concrets. Ils permettent de distinguer différentes dimensions de la CAD : la mise en forme de données existantes ; la collecte automatisée d’informations disparates ; et l’étude des interactions en ligne.
La mise en forme de données existantes Dans le cadre d’une thèse sur le syndicalisme agricole, on (AH) s’est intéressé aux relations entre monde syndical et politique. On cherchait plus précisément à mesurer la multipositionnalité des acteurs à l’échelle d’un département en se demandant combien d’élu-e-s syndicaux se présentent, et avec quels résultats, aux élections locales.
Pour y répondre, on disposait d’un fichier des responsables et adhérents syndicaux, et on voulait le croiser avec un fichier des résultats des élections municipales. Le problème est qu’un tel fichier n’est pas fourni par le ministère de l’Intérieur, qui ne s’intéresse que de façon lointaine aux élections municipales dans les communes de moins de 9000 habitants, pour des raisons historiques et politiques. Les données ne sont pas archivées par des laboratoires spécialisés dans l’analyse des élections non plus, en tout cas à notre connaissance. Tout un ensemble de communes étaient donc exclues de l’étude, et en particulier celles où vivent les agriculteurs au centre de notre étude. Les résultats étaient en revanche disponibles gratuitement et avec précision sur le site du journal Ouest-France.
L’objectif du journal est d’offrir à ses lecteurs une information sur leur commune, ou une autre de leur connaissance. Mais, en conséquence, les résultats ne sont pas disponibles pour l’ensemble du département sous forme d’une base de données ; et on ne peut pas faire de copier-coller pour les quelque 500 communes, car le format n’est pas commode (cf. capture d’écran).
On a alors écrit un programme, qui fait schématiquement les opérations suivantes :
Récolter toutes les pages correspondant aux communes qui nous intéressent.
Analyser leur structure, et extraire l’information de chacune de ces pages, pour les ranger dans un tableur.
Un aperçu du résultat est présenté ci-dessous. On peut ensuite envisager faire le croisement du fichier initial, évaluer quelle proportion de syndicalistes se présentent aux élections municipales, combien sont élus, etc.
La collecte automatisée de données disparates
On peut aussi chercher à collecter des informations présentes sur un vaste ensemble de sites, aux format et niveau de précision très différents. Dans le cadre d’un travail sur la sociologie étasunienne, on (EO) cherchait à connaître l’affiliation principale des évaluateurs de l’une des principales revues de la discipline (afin de mesurer le taux d’ouverture de la discipline, dans ce cas via ses évaluateurs). On disposait en tout et pour tout du fichier des referees, publiée chaque année par la revue.
Comment obtenir cette information sur l’affiliation institutionnelle ? Spontanément, et sur un cas unique, on effectuerait probablement une recherche sur un moteur de recherche avec le nom de la personne. À partir des réponses renvoyées, on regarderait un ensemble d’indices, comme les courriels, les pages de CV, les sites qui reviennent plusieurs fois. Bref, on irait chercher des indices en naviguant sur quelques pages pour en apprécier le contenu. Si pour chacun, la procédure est faisable, le problème était qu’on en avait plus d’un millier. Le faire « à la main » pour l’ensemble des universitaires aurait donc pris plusieurs jours à temps plein et aurait été aussi pénible qu’abrutissant. On a donc écrit là encore un programme avec le langager PERL[12] dont le principe est d’automatiser les opérations qu’on ferait spontanément :
Envoyer une requête à un moteur de recherche pour chacun de ces universitaires, et stocker les réponses (le contenu des dix premiers liens renvoyés par la requête) dans un fichier.
Il faut ensuite savoir quoi chercher. Un peu d’intuition est ici utile : on s’est dit que l’adresse courriel (qui se termine par .edu pour les universités étasuniennes) était un indicateur assez fiable de l’affiliation institutionnelle. On a donc fait un autre programme, qui navigue dans cette masse d’information et collecte ces courriels.
Malheureusement, ces adresses viennent rarement seules. Parfois on récupère celles de collègues du département, ou de collaborateurs (quand ce n’est pas le webmaster du site…) ; parfois on en a plusieurs pour une seule personne (personnelle ; suite à un changement d’institution), ou encore un celle d’homonyme. Il nous faut donc « filtrer » ces premiers résultats selon divers critères, comme on le ferait spontanément, et de là tenter de déduire l’affiliation la plus probable. On a donc produit une estimation du « bon » courriel, avec à chaque fois un « indice de confiance » (dont la fiabilité a été vérifiée ensuite « à la main » sur 10% des résultats).
Copie d’écran du programme d’estimation de l’adresse
In fine, on a pu trancher sur près de 650 cas avec une probabilité d’échec proche de 0%. Pour les 350 autres, les résultats obtenus par cette technique ont permis d’en déterminer manuellement plus de 150, et assez rapidement du fait du travail de déblayage déjà effectué, et grâce à la connaissance du terrain. Les derniers cas ont été compilés à la main.
L’étude des interactions en ligne Une troisième dimension que ces méthodes permettent d’explorer, c’est l’ensemble des activités sociales médiées par des technologies informatiques. Les techniques de CAD sont là particulièrement adaptées pour étudier les interactions en ligne, qu’on s’intéresse aux forums, blogs, sites de rencontre, ou encore aux différents réseaux sociaux (Facebook, Twitter). On peut de fait étudier avec un certain degré de précisions nombre de activités qui s’y produisent.
Pour qui s’intéresse aux rumeurs et à la diffusion virale de l’information, Twitter offre des moyens d’en objectiver certains aspects. On donne ici un bref aperçu des outils existants, qui permettent d’explorer rapidement les contours d’une polémique, en l’occurrence celle autour du « tweet » de Valérie Trierweiler dans l’entre-deux tours des élections législatives, en juin 2012. On a d’abord considéré l’intensité des tweets à propos de la nouvelle première dame, en collectant les occurrences de son pseudonyme sur le réseau : « @valtrier ».
On retrouve en abscisse la chronologie et en ordonnée le pseudonyme de la personne qui tweete (illisible ici du fait d’une police un peu large). Un point représente l’un de ces mini-messages qui inclut « @valtrier ».
En se focalisant sur une temporalité plus courte comme ci-dessous, on peut aussi chercher à savoir qui tweete (produit un message original, en bleu) et qui retweete (se fait le relais d’un message produit par un autre). Une telle analyse permet, comme ci-dessous, de repérer les éventuels leaders d’opinion dans une controverse.
Qui tweete sur @valtrier, et quand ?
On peut ainsi voir la temporalité de la polémique, ou repérer les personnes les plus actives – le graphique ci-dessous restitue avec plus de précisions les tweeters les plus investis dans les 72h qui suivent le début de la polémique.
Qui tweete le plus sur @valtrier ?
À partir de là, on peut faire bien d’autres mesures. On peut par exemple savoir à quelle heure du jour, quel jour de la semaine, ou quel mois chaque personne tweete en moyenne. On peut voir des évolutions dans le temps dans le comportement individuel de tweete. On peut faire des analyses textuelles précises. On peut même envisager d’armer l’ethnographie des interactions en ligne par des statistiques diverses. Bref, on peut approcher à froid et avec des données objectives un objet chaud, et sujet à polémique.
Panorama des outils disponibles
Pour mettre en œuvre ces stratégies de recherche, des outils existent, avec leurs avantages et inconvénients respectifs. Il est hors de propos de dresser un tableau exhaustif de toutes les solutions de collecte automatisée de données, tellement ce domaine est l’objet d’investissements variés, avec des horizons temporels, des quantités de données et des budgets très disparates : (d’une utilisation ponctuelle et idéalement gratuite à la boulimie des robots et serveurs de Google…) On essaie ici de classer les outils qu’on a pu croiser afin d’esquisser le paysage qu’ils forment.
« Aspirateurs » de sites, avec interface graphique