{"word_count": 225, "character_count": 1509}
J'ai souri en lisant les vignettes d'une doctorante qui a fait son coming-out geek. Dernière manipulation geek en date : une étudiante a eu une idée originale pour un cours de statistiques, où elle a décidé d'analyse un échantillon des trois millions de tweets #iranelection envoyés lors de l'élection iranienne. Son échantillon commence le 19 juin 2009, et son filtre a récupéré principalement des tweets en langue anglaise, avec quelques observations en Farsi et dans d'autres langues. Le fichier qu'elle m'a fourni contient 45 000 observations environ.Pour lui fabriquer un échantillon plus maniable, j'ai appliqué la méthode suivante :Assigner un nombre aléatoire entre 0 et 1 à chaque ligne.Ordonner les observations par ce numéro.Extraire les 4000 premières entrées vers un nouveau fichier.Recommencer, extraire les 3000 premières.Recommencer, extraire les 2000 premières.L'opération sous Excel m'a créé un fichier d'environ 165MB qui a bien ralenti mon système, mais le fichier final est correctement échantillonné. Ensuite, il a fallu appliquer pas mal d'expressions régulières, du genre \|en\|(.*).jpg\|, pour nettoyer les données, ce qui m'a valu de perdre 144 observations mais de terminer avec un fichier CSV presque directement exploitable, après deux heures de manipulation.Vos suggestions sur comment analyser le fichier sont les bienvenues ! Comme le cours se déroule sous Stata, j'ai pensé lui faire utiliser wordscores, mais il y a certainement une meilleure méthode pour analyser le corpus.