{"word_count": 3862, "character_count": 26738}
Ces vingt dernières années ont vu le développement de techniques et d’outils informatiques qui permettent d'automatiser la collecte et la mise en forme de données, en particulier celles provenant d’internet[1]. Plus puissantes et plus faciles d'accès, ils sont aussi de plus en plus utilisés dans de nombreuses professions. Leur diffusion intéresse donc les chercheurs en sciences sociales, à la fois parce qu’elles permettent de collecter rapidement des informations sur divers aspects du monde social, mais aussi parce qu’elle conteste un peu plus leur monopole dans la production de données quantitatives. On se propose ici de réaliser un rapide tour d’horizon sur cette question qui souligne le potentiel, et évoque certains enjeux, du recours croissant à ces méthodes pour nos disciplines ((Le billet suivant présente un exemple simple de collecte automatisée de données dans des annonces sur un site de rencontres : http://quanti.hypotheses.org/724/.)).La collecte automatique de données : première approcheLa collecte automatisée de données[2] (CAD) consiste à utiliser des techniques informatiques (que ce soit l’écriture d’un programme, ou l’utilisation un logiciel préexistant) en vue de faciliter la constitution d’une base de données. Ces outils sont assez divers : certains visent juste à mettre en forme des données déjà contenues dans divers fichiers ou dossiers ; d’autres consistent à collecter des informations via internet ; d’autre encore permettent d’étudier des interactions en ligne sur internet (sites de rencontres ((Le billet suivant présente un exemple simple de collecte automatisée de données dans des annonces sur un site de rencontres : http://quanti.hypotheses.org/724/.)), commentaires, réseaux sociaux, etc.). Elles visent surtout à automatiser tout un ensemble de tâches qu’il faudrait autrement faire à la main, et permettent d’importants gains de temps -- voire de compiler un nombre d’informations impossible avec une collecte classique.Pour prendre un exemple concret, on peut vouloir chercher à déterminer les prix de l’immobilier dans une zone donnée. Une solution consiste à chercher des données officielles (cadastre), ou celles offertes par des professionnels de l’immobilier. Mais ces informations n’existent pas toujours, pas forcément au niveau d’agrégation que l’on souhaite, ou elles comportent des biais qui les rendent inutilisables. Une solution alternative peut alors consister à consulter les petites annonces, comme les journaux de « particulier à particulier ». Si la compilation pour une zone donnée (une ville, un quartier) des informations utiles (prix, nombre de pièces, surface) serait particulièrement longue, il est par contre relativement aisé de compiler des milliers d’annonces de ce type avec un petit programme, et ainsi de ne pas être captif des informations produites par d’autres. On peut ainsi recréer ses propres indicateurs : distance à une station de métro, au centre-ville, à des services, etc.Des outils de plus en plus utilisés Ces techniques, initialement utilisées par des informaticiens, sont actuellement en plein développement. Cette croissance exponentielle a plusieurs sources. D’abord, l’apparition dans les années 1970 des langages de programmation de « haut niveau » et leur simplification continue depuis rendent la programmation plus aisée. Il n’est plus nécessaire d’être un informaticien avancé pour comprendre, manipuler, voire créer des programmes, en particulier de collecte automatique de données. Par ailleurs, l’usage généralisé de l’informatique par des particuliers (micro-informatique) comme d’Internet (et encore plus depuis le milieu des années 2000, où les usagers contribuent à créer de l’information en plus de la lire, notamment par la multiplication des interactions en ligne) font que tout le monde est désormais susceptible de laisser des traces, dont le chercheur peut être tenté de faire son miel, étant donné que les coûts matériels sont pratiquement nuls.Ces techniques se diffusent très rapidement, en particulier dans un ensemble d'espaces professionnels voisins des sciences sociales. L'informatique, aussi bien universitaire, commerciale, que bénévole, travaille à les perfectionner. Les entreprises investissent des budgets gargantuesques dans ces méthodes dans l'espoir mieux connaître leurs consommateurs, actuels  ou potentiels. Les sommes croissent à une vitesse astronomique, et ne semblent pas en passe de ralentir. Des entreprises de marketing sont même entièrement spécialisées dans « l’étude de l’opinion » via internet (opinion mining) et vendent des analyses basées sur une analyse quantitative des blogs, forums, et réseaux sociaux.Dans le monde des médias enfin, le recours à ces techniques a aussi partiellement réorganisé la profession. En moins de dix ans, le journalisme de données (ou data-driven journalism) est passé d’une technique apprise sur le tas à une spécialité dont l’institutionnalisation est en cours. L’évolution du terme censé désigner la pratique est un indice de ce changement : le « computer-assisted reporting » s’est développé en un journalisme de donnée de plein droit. La formation initiale dans les écoles d’apprentissage du métier comporte désormais des modules (et pour certaines des spécialités) dans ce domaine, et après quelques sites spécialisés (www.owni.fr) et des rédactions pionnières (Le Guardian en Grande-Bretagne, le Los Angeles Times aux États-Unis), les principaux journaux recrutent des journalistes de données, une spécialité qui a remis ses premiers trophées internationaux en juin 2012.En quoi cela nous concerne-t-il ?En sciences sociales, ces techniques ont depuis longtemps été adoptées par les chercheurs intéressés à l’analyse exploratoire de données (data mining). Comme pour leurs homologues du marketing, avec lesquels ils ont en partage des techniques, leur objectif est de faire émerger des faits pertinents à l’intérieur d’un ensemble trop vaste pour être étudié manuellement, et à propos duquel ils n’ont pas formé d’hypothèses préalables.Dans plusieurs pays, le data mining connaît un renouveau. En France, plusieurs chercheurs et équipes travaillent dans ce domaine. Certains, intéressés d’abord aux activités en ligne[3], ont saisi les opportunités qu’offrait leur objet de recherche pour collecter plus généralement des données, sur des individus, des interactions, ou des populations entières. D’autres le font dans la continuation d’un travail sur le langage. C’est le cas des développeurs de Prospéro, logiciel pionnier dans l’analyse de controverses, ont également créé un petit outil, spécialisé mais très efficace, pour interroger des grandes bases d’intérêt général comme les textes parlementaires ou la presse (Factiva), appelé Tirésias[4]. L’équipe réunie autour du logiciel open source CorTexT s’intéresse aussi aux analyses lexicométriques et propose des études réticulaires de controverses.Signe de la jeunesse d’un sous-champ encore peu institutionnalisé, les sociologues les plus actifs dans ce domaine se trouvent dans des espaces mixtes, que ce soit le laboratoire de Recherche et Développement d’Orange[5], dans des écoles d’ingénieur (comme c’est le cas d’Antonio Casilli[6] à l’ENST[7], aussi rattaché à l’EHESS). Signe, à l’inverse, de l’institutionnalisation de la pratique, Sciences-Po Paris a récemment ouvert une unité spécifique en partie consacré à ce domaine et dotée de moyens conséquents, le Médialab[8]. Des chercheurs isolés se forment également par leurs propres moyens, et publient sur internet des exemples d’applications qu’ils ont eux-mêmes utilisés, ce qui fournit un début de matériel pédagogique[9]. Enfin, des travaux commencent à prendre ces techniques et leur histoire comme objets d’étude, dans le prolongement des études d’histoire de la quantification[10].Les politiques de l’open dataL’usage de « big data » a été favorisé par la mise à disposition gratuite et immédiate de bases de données par plusieurs institutions qui les produisaient. Suite à la montée des revendications en faveur de l’open information sur internet, courant qui défend un usage libre de droits de propriété des outils et informations du web, un mouvement en faveur d’une politique de « données ouvertes » [open data] a vu le jour. La revendication principale de ses partisans est l’accessibilité la plus rapide et complète possible des données des services publics et des administrations. L’objectif de transparence de l’État et de collaboration entre usagers et administration, qui s’inscrit dans une perspective plus large de démocratie participative, se double d’une volonté de déléguer la gestion de certaines tâches (informations sur le trafic, la météo, la pollution, etc.) à des particuliers ou à des entreprises.Au niveau des administration, l’open data se développe à des rythmes différents selon les pays. Les États-Unis ont été les premiers à créer un portail recensant les données disponibles (www.data.gov), avant d’être suivi par d’autres. En France, l’Etalab (www.data.gouv.fr) a été créé en 2011 : il recense des données aussi différentes que les statistiques du commerce extérieur, des infractions au code de la route ou l’inventaire du patrimoine immobilier de l’État. On y trouve aussi les résultats détaillés des élections, les indicateurs de résultat des lycées, ou encore des statistiques sur les établissements de santé qui peuvent intéresser au premier chef les chercheurs en sciences sociales[11].Quelques utilisations en sciences sociales  Afin de préciser les usages possibles de ces techniques, il n’est pas inutile de s’arrêter sur des exemples concrets. Ils permettent de distinguer différentes dimensions de la CAD : la mise en forme de données existantes ; la collecte automatisée d’informations disparates ; et l’étude des interactions en ligne.La mise en forme de données existantes Dans le cadre d’une thèse sur le syndicalisme agricole, on (AH) s’est intéressé aux relations entre monde syndical et politique. On cherchait plus précisément à mesurer la multipositionnalité des acteurs à l’échelle d’un département en se demandant combien d’élu-e-s syndicaux se présentent, et avec quels résultats, aux élections locales.Pour y répondre, on disposait d'un fichier des responsables et adhérents syndicaux, et on voulait le croiser avec un fichier des résultats des élections municipales. Le problème est qu'un tel fichier n'est pas fourni par le ministère de l'Intérieur, qui ne s'intéresse que de façon lointaine aux élections municipales dans les communes de moins de 9000 habitants, pour des raisons historiques et politiques. Les données ne sont pas archivées par des laboratoires spécialisés dans l’analyse des élections non plus, en tout cas à notre connaissance. Tout un ensemble de communes étaient donc exclues de l’étude, et en particulier celles où vivent les agriculteurs au centre de notre étude. Les résultats étaient en revanche disponibles gratuitement et avec précision sur le site du journal Ouest-France.L’objectif du journal est d’offrir à ses lecteurs une information sur leur commune, ou une autre de leur connaissance. Mais, en conséquence, les résultats ne sont pas disponibles pour l’ensemble du département sous forme d’une base de données ; et on ne peut pas faire de copier-coller pour les quelque 500 communes, car le format n’est pas commode (cf. capture d’écran).On a alors écrit un programme, qui fait schématiquement les opérations suivantes :Récolter toutes les pages correspondant aux communes qui nous intéressent.Analyser leur structure, et extraire l'information de chacune de ces pages, pour les ranger dans un tableur.Un aperçu du résultat est présenté ci-dessous. On peut ensuite envisager faire le croisement du fichier initial, évaluer quelle proportion de syndicalistes se présentent aux élections municipales, combien sont élus, etc.La collecte automatisée de données disparatesOn peut aussi chercher à collecter des informations présentes sur un vaste ensemble de sites, aux format et niveau de précision très différents. Dans le cadre d’un travail sur la sociologie étasunienne, on (EO) cherchait à connaître l’affiliation principale des évaluateurs de l’une des principales revues de la discipline (afin de mesurer le taux d’ouverture de la discipline, dans ce cas via ses évaluateurs). On disposait en tout et pour tout du fichier des referees, publiée chaque année par la revue.Comment obtenir cette information sur l'affiliation institutionnelle ? Spontanément, et sur un cas unique, on effectuerait probablement une recherche sur un moteur de recherche avec le nom de la personne. À partir des réponses renvoyées, on regarderait un ensemble d'indices, comme les courriels, les pages de CV, les sites qui reviennent plusieurs fois. Bref, on irait chercher des indices en naviguant sur quelques pages pour en apprécier le contenu. Si pour chacun, la procédure est faisable, le problème était qu’on en avait plus d’un millier. Le faire « à la main » pour l’ensemble des universitaires aurait donc pris plusieurs jours à temps plein et aurait été aussi pénible qu’abrutissant. On a donc écrit là encore un programme avec le langager PERL[12] dont le principe est d'automatiser les opérations qu'on ferait spontanément :Envoyer une requête à un moteur de recherche pour chacun de ces universitaires, et stocker les réponses (le contenu des dix premiers liens renvoyés par la requête) dans un fichier.Il faut ensuite savoir quoi chercher. Un peu d’intuition est ici utile : on s’est dit que l’adresse courriel (qui se termine par .edu pour les universités étasuniennes) était un indicateur assez fiable de l’affiliation institutionnelle. On a donc fait un autre programme, qui navigue dans cette masse d’information et collecte ces courriels.Malheureusement, ces adresses viennent rarement seules. Parfois on récupère celles de collègues du département, ou de collaborateurs (quand ce n’est pas le webmaster du site…) ; parfois on en a plusieurs pour une seule personne (personnelle ; suite à un changement d’institution), ou encore un celle d’homonyme. Il nous faut donc « filtrer » ces premiers résultats selon divers critères, comme on le ferait spontanément, et de là tenter de déduire l'affiliation la plus probable. On a donc produit une estimation du « bon » courriel, avec à chaque fois un « indice de confiance » (dont la fiabilité a été vérifiée ensuite « à la main » sur 10% des résultats).[caption id="attachment_656" align="aligncenter" width="379"] Copie d’écran du programme d’estimation de l’adresse[/caption]In fine, on a pu trancher sur près de 650 cas avec une probabilité d’échec proche de 0%. Pour les 350 autres, les résultats obtenus par cette technique ont permis d’en déterminer manuellement plus de 150, et assez rapidement du fait du travail de déblayage déjà effectué, et grâce à la connaissance du terrain. Les derniers cas ont été compilés à la main. L'étude des interactions en ligne Une troisième dimension que ces méthodes permettent d’explorer, c’est l’ensemble des activités sociales médiées par des technologies informatiques. Les techniques de CAD sont là particulièrement adaptées pour étudier les interactions en ligne, qu’on s’intéresse aux forums, blogs, sites de rencontre, ou encore aux différents réseaux sociaux (Facebook, Twitter). On peut de fait étudier avec un certain degré de précisions nombre de activités qui s’y produisent.Pour qui s’intéresse aux rumeurs et à la diffusion virale de l’information, Twitter offre des moyens d’en objectiver certains aspects. On donne ici un bref aperçu des outils existants, qui permettent d’explorer rapidement les contours d’une polémique, en l’occurrence celle autour du « tweet » de Valérie Trierweiler dans l’entre-deux tours des élections législatives, en juin 2012. On a d’abord considéré l’intensité des tweets à propos de la nouvelle première dame, en collectant les occurrences de son pseudonyme sur le réseau : « @valtrier ».On retrouve en abscisse la chronologie et en ordonnée le pseudonyme de la personne qui tweete (illisible ici du fait d’une police un peu large). Un point représente l’un de ces mini-messages qui inclut « @valtrier ».En se focalisant sur une temporalité plus courte comme ci-dessous, on peut aussi chercher à savoir qui tweete (produit un message original, en bleu) et qui retweete (se fait le relais d’un message produit par un autre). Une telle analyse permet, comme ci-dessous, de repérer les éventuels leaders d’opinion dans une controverse.[caption id="attachment_650" align="aligncenter" width="499"] Qui tweete sur @valtrier, et quand ?[/caption]On peut ainsi voir la temporalité de la polémique, ou repérer les personnes les plus actives – le graphique ci-dessous restitue avec plus de précisions les tweeters les plus investis dans les 72h qui suivent le début de la polémique.[caption id="attachment_652" align="aligncenter" width="444"] Qui tweete le plus sur @valtrier ?[/caption]À partir de là, on peut faire bien d’autres mesures. On peut par exemple savoir à quelle heure du jour, quel jour de la semaine, ou quel mois chaque personne tweete en moyenne. On peut voir des évolutions dans le temps dans le comportement individuel de tweete. On peut faire des analyses textuelles précises. On peut même envisager d’armer l’ethnographie des interactions en ligne par des statistiques diverses. Bref, on peut approcher à froid et avec des données objectives un objet chaud, et sujet à polémique.Panorama des outils disponiblesPour mettre en œuvre ces stratégies de recherche, des outils existent, avec leurs avantages et inconvénients respectifs. Il est hors de propos de dresser un tableau exhaustif de toutes les solutions de collecte automatisée de données, tellement ce domaine est l'objet d'investissements variés, avec des horizons temporels, des quantités de données et des budgets très disparates : (d'une utilisation ponctuelle et idéalement gratuite à la boulimie des robots et serveurs de Google…) On essaie ici de classer les outils qu’on a pu croiser afin d’esquisser le paysage qu'ils forment.« Aspirateurs » de sites, avec interface graphiqueProgrammation simplifiée pour collecte de donnéesLogiciels commerciaux d’analyse statistiqueExemplesHTTrack, WebCrawler, SiteSucker, Web Dumper, WebSuction…Web-Harvest, ScrapySAS, SPSS…Modalité de collecteInterface graphique (clics)Programmation, dans un cadre simplifiéProgrammation et/ou clicsAvantageSimple d’utilisationFlexible et efficace, bien adapté à la tâcheTrès puissant, maintenance assurée par firme commercialeInconvénientsLimité au téléchargement de pages web,Pas si simple à configurer finementMono-tâche,Syntaxe à apprendreModules de collecte payants en surplusOutils statistiquesNonNonIntégrés et performantsOutils de visualisationNonNonVariablesStatut commercialGratuits (ou shareware)GratuitPayant, cherDifficultés d’usageAisé, utile pour utilisation simpleModérée (nécessite des bases de codage)Lourd, pas nécessairement simple&#160;RLangages de programmationExemplesLogiciel de traitements statistiques, devient un langage de programmation généralisteLangages de programmation généralistes (Perl, Python, Ruby…)Modalité de collecteProgrammationProgrammationAvantageLogiciel connu, multitâche, en développement rapide,communauté d’aide en ligne vivanteSouple, très puissant,gratuit,Communauté d’aide en ligne très largeInconvénientsDifficulté du langage RInstallation ésotériqueApprentissage nécessaire des bases du langageOutils statistiquesIntégrés et performantsPeu adaptéOutils de visualisationTrès bonsPeu adaptéStatut commercialGratuitGratuitDifficultés d’usageDifficulté du langage RApprentissage potentiellement difficile&#160;ConclusionPour les sciences sociales, les potentialités qu’ouvrent les techniques de collecte automatique de données sont immenses. Certaines tâches particulièrement chronophages peuvent désormais être utilisées[13], des sommes de données importantes peuvent être collectées. Dans certains des cas, des questions centrales à nos disciplines comme celle de la représentativité pourraient ne plus se poser : si on peut accéder à l’ensemble de la population, l’échantillonnage n’est plus un problème. Pour intéressantes qu’elles soient, ces techniques sont lourdes d’enjeux, classiques ou nouveaux, pour ses praticiens comme pour l’organisation de la discipline. Trois méritent une attention particulière.Il faut d’abord rappeler que les données récoltées par la CAD sont souvent fragmentaires. Produites par d’autres et pour d’autres buts[14], elles ne posent pas forcément les questions qui intéressent les chercheurs, ou ne comportent pas toutes les données nécessaires pour vraiment répondre à une question de recherche. Face à la diffusion de ces méthodes et au risque de fascination empirico-méthodologique, il est donc urgent d’être prudent : la méthode ne fait pas l’enquête, et la disponibilité des données n’assure pas en soit un résultat pertinent[15].À cette question de la qualité des données vient s’ajouter celle des dynamiques disciplinaires. En interne, l’accès à une source quasi infinie de matériau empiriques pourrait risquer de dériver vers un empiricisme étroit, qui verrait se succéder les textes exploitant un jeu (ou une combinaison) de données au détriment de la construction de l’objet, entraînant une parcellisation encore plus grande de la réflexion collective. En externe, la diffusion de ces outils pourrait rapidement interroger la position des sciences sociales dans la production de données quantitatives. Hier largement dépendante de chercheurs affiliés à des universités de recherche ou à des institutions publiques spécialisées (INSEE, INED, etc.), celle-ci peut désormais être réalisées par d’autres, pas forcément formés aux outils ni aux problématiques des sciences sociales. La question de notre place vis-à-vis des journalistes de données, ou encore des ingénieurs informatiques qui se tournent vers les données du monde social pour développer leurs outils, sans même parler du marketing, pourrait se poser donc de manière nouvelle[16].Un dernier enjeu a trait à l’éthique de la recherche. Car si les données collectées sont, de fait, disponibles en ligne, les techniques mentionnées ici peuvent permettent de connaître la vie des enquêtés avec un niveau de détail parfois plus important que ce qu’ils livreraient lors d’un entretien ou d’une observation. Faut-il alors considérer que parce qu’elles sont publiques, elles échappent aux règles classique de précaution et d’anonymisation ? Du fait de la puissance des techniques, qui offrent parfois des résultats invisibles à l’œil nu, la question mérite au moins d’être posée. Les changements des dernières années concernant les frontières entre espaces privés et publics ont pris de vitesse le droit.  En attendant que les controverses morales et juridiques se stabilisent, la déontologie actuelle des sciences sociales exige la plus grande prudence à l’égard de ces données.Non exhaustives, ces remarques montrent les potentiels et les enjeux de ces techniques de collecte automatique de données. Elles ne sont qu’un aspect de la « révolution des données » que nous sommes en train de connaître. Annoncée de manière quelque peu prophétique par certains, elle pourrait avoir un effet transformateur important sur la discipline, par certains aspects comparables à l’introduction de la statistique inférentielle dans la discipline dans les années 1950. La comparaison vaut ici avertissement, car si le recours croissant à ces techniques a eu un effet de connaissance important, elle a aussi importé avec elle une nouvelle manière de faire de la sociologie dont les effets se font toujours sentir à l’heure actuelle[17].RéférencesAbbott, Andrew, Time Matters : On Theory and Method, Chicago, University of Chicago Press, 2001.Beuscart, Jean-Samuel, « Sociologie des activités en ligne » Terrains &#38; travaux,  (1), 2009, 3-28.Boyd, Danah et Kate Crawford, "Six Provocations for Big Data", Oxford Internet Institute’s "A Decade in Internet Time: Symposium on the Dynamics of the Internet and Society", Oxford University, 2011.Cardon, Dominique, La Démocratie Internet. Promesses et limites. Paris, Le Seuil, 2010.Casilli, Antonio, Les Liaisons numériques: vers une nouvelle sociabilité. Paris, Le Seuil, 2011.[1] Ce texte a bénéficié des nombreux commentaires des participants aux journées annuelles de l’équipe Enquêtes – Terrains – Théories du Centre Maurice Halbwachs en juin 2012, que nous remercions chaleureusement.[2] Il existe en anglais une série de termes pour désigner ces pratiques (web scraping, web mining, web harvesting, web crawling, etc.). On ne rentre pas ici dans le détail de leur histoire et des petites différences entre les acceptions associées.[3] Voir sur ce point l’éclairante synthèse de (Beuscart, 2009).[4] Voir leur site http://www.prosperologie.org.[5] Voir son site http://cems.ehess.fr/document.php?id=155 et son dernier ouvrage (Cardon, 2010).[6] Voir son blog http://www.bodyspacesociety.eu et son dernier ouvrage (Casilli, 2011).[7] http://www.telecom-paristech.fr.[8] Voir leur site (http://www.medialab.sciences-po.fr/) et les analyses de représentation des controverses sur internet (le Navicrawler de Mathieu Jacomy).[9] Voir, par exemple, le blog de François Guillem, économiste, http://francoisguillem.fr/, qui présente une série d’exemples simples donnant une bonne idée de ce qu’il est possible de faire avec R en termes de collecte automatisée de données sur le web.[10] La thèse de science politique de Paul Antropius (en cours à Paris-1) en est un exemple.[11] Une liste des bases de données disponibles est http://www.guardian.co.uk/world-government-data.[12] Dont le code est disponible à l’adresse suivante : http://sociologie.revues.org/1126.[13] Comme dans le cas de l’analyse de l’incidence médiatique d’un sujet à la télévision française, ainsi qu’on l’avait montré ailleurs.[14] Parce qu’il en va de ces données comme des archives, il convient de leur appliquer les mêmes méthodes de critique des sources qu’à ces dernières et ne pas succomber à la tentation qu’elles permettent d’accéder immédiatement à la vérité sur un objet.[15] Il convient d’éviter de faire comme l’ivrogne évoqué par A. Kaplan, qui cherche ses clés sous le lampadaire et non plus là où il les a perdues, simplement parce qu’il y voit plus clair. Sur les dangers de la fascination pour les big data, voir les remarques récentes de (Boyd et Crawford, 2011).[16] L’économie s’est, en tant que discipline, profondément transformée suite à l’arrivée de chercheurs plus intéressés à la modélisation mathématique qu’à l’étude des pratiques économiques concrètes.[17] Voir sur ce point les remarques critiques d’Andrew Abbott sur le « paradigme des variables » assemblés dans (Abbott, 2001).