{"word_count": 502, "character_count": 3506}
Notre objectif est d'aboutir à une cartographie des acteurs parlant de l'hydrogène comme source d'énergie sur Twitter, et ce à partir des URL que ces acteurs partagent dans leurs tweets. Ici nous allons réaliser un travail préparatoire sur une liste de 27.107 URL afin de permettre d'établir une liste de catégories de noms de domaines.Chacune des 27.107 URL est accompagnée de son nombre d’occurrences dans les tweets traités. Pour rendre cette quantité importante de données plus facile à manipuler par la suite, nous avons procédé à plusieurs opérations :Etape 1 : Extraction des noms de domainesD'abord nous avons réduit chacune des URL à son seul nom de domaine, suivi de leur nombre d’occurrences. Pour ce faire nous avons utilisé les expressions régulières via le logiciel Notepad++.Rechercher : ^.*?//(.*?)/.*\t(\d*).*$ Remplacer par : $1\t$2Cette première expression nous a permis d'extraire les noms de domaines et les nombres d’occurrences. Cette expression ne fonctionne toutefois qu'avec les URL comportant des chemins après leur nom de domaine. C'est pourquoi nous avons ensuite dû répéter la même opération avec :Rechercher : ^.*?//(.*?)\t(\d*).*$Remplacer par : $1\t$2Cette deuxième expression permet de traiter les URL se terminant par une tabulation et non pas par un /.Etape 2 : Condensation de la listeNous sommes ensuite passés sur Excel pour réaliser deux dernières étapes pour réduire la taille de notre liste de noms de domaines. D'abord, supprimer les doublons parmi les noms de domaines, avec la fonction dédiée intégrée à Excel. Ensuite, à l'aide de la formule somme.si, faire la somme des occurrences pour chaque nom de domaine.Grace à cette série d'opérations nous sommes passés de 27.107 URL à seulement 6094 noms de domaine avec leur nombre d’occurrences.Discussion Avec ces deux étapes de traitement nous avons réussi à réduire de manière significative notre liste d'URL. Toutefois notre méthode présente deux limites : En réduisant au seul nom de domaine on perd une grande quantité de l'informations contenues dans les URL. Cette limite est ici assumée : ce que nous perdons en détails nous gagnons en efficacité.Un nombre non-négligeable d'URL récupérées depuis Twitter sont écrites sous des formes réduites. Leur noms de domaine sont ceux des services en ligne utilisés pour opérer cette réduction : bit.ly, dlvr.it, etc. De tels noms de domaine ne nous apportent évidemment aucune information utile et on ne pourra pas les faire rentrer dans un système de catégories cohérent.Pour résoudre le problème posé par cette deuxième limite nous avons repris à zéro notre traitement en ajoutant une étape supplémentaire, qu'on pourrait considérer comme une "étape 0" :Etape 0 : Récupération des URL réduitesEn faisant des recherches web nous avons établi une liste des noms de domaines les plus notables se retrouvant dans des URL réduites : ['bit.do','t.co','lnkd.in','db.tt','qr.ae','adf.ly','goo.gl','bitly.com',&#160;'cur.lv','ow.ly','bit.ly','ity.im','q.gs','is.gd','po.st','bc.vc','u.to','j.mp','cutt.us','u.bb','x.co','qr.net','1url.com','v.gd','tr.im','bit.ly','buff.ly', 'qoo.ly','znia.ly','weav.pw', 'hubs.ly','dlvr.it',&#160;'ift.tt','dld.bz','wu.to','cnet.co'] Nous avons recherché chacune des URL de notre fichier de départ contenant ces noms de domaine. Nous les avons ensuite suivies pour récupérer leur forme développée et les replacer dans notre fichier. Après quoi il ne restait plus qu'a ré-appliquer les traitements décrits dans les étapes 1 et 2 ci-dessus.