{"word_count": 1505, "character_count": 9497}
 Par Alix Chaguééquipe ALMAnaCHLes Ouvriers des deux mondes est un corpus d'enquêtes sociologiques menées durant le XIXe siècle par Frédéric Le Play et ses disciples qui analysent les conditions de vie, de travail et l'économie de familles illustrant une classification établie par Le Play en fonction de critères relatifs à la nature du travail exercé par le chef de famille et au système d'engagement dans lequel il se situe (( Lécuyer Bernard-Pierre. Frédéric Le Play, fondateur de la « science sociale ». In: Communications, 54, 1992. Les débuts des sciences de l'homme. pp. 39-51. )) . Publiées par la Société Internationale des études pratiques d'économie sociale entre 1857 et 1912, en volumes ou par fascicules, ces enquêtes intéressent le projet TIME US pour plusieurs raisons : Les monographies n° 7, 13, 20, 36 et 106 sont dédiées à des métiers du textile (tisseur, brodeuse, tailleurs d'habits, ...) ;Chaque monographie comporte un budget détaillé des dépenses du ménage et calcule la part des tâches domestiques dans ce budget. Cela permet donc d'évaluer la part du budget et du temps du ménage dévolue au textile (habits et linge, fabrication, réparation et nettoyage).L'ensemble des enquêtes a été numérisé, volume par volume, par l'Université de Toronto et publié sur Internet Archives sous plusieurs formats. C'est là que nous les avons recensées et téléchargées.Afin de constituer notre corpus textuel tiré des monographies de Le Play, nous avions besoin de travailler sur deux plans : améliorer la qualité de l'OCR, en partant des fichiers image et non pas des fichiers de texte fournis par Internet Archive ;détecter la structure sémantique des monographies dans le but de générer automatiquement une table des matières afin de naviguer facilement entre les différents chapitres des volumes, mais aussi à l'intérieur des monographies.L'objet de ce billet est de présenter la chaîne de traitement et les outils développés pour réaliser l'extraction du texte à partir des images (transcription) et la détection de la structure sémantique du texte (structuration) afin de produire des fichiers XML permettant une édition numérique du corpus.Récupération des fichiers imagesPlusieurs formats d'images sont disponibles sur Internet Archive. Nous avons opté pour le téléchargement du format JP2, qui garantissait une qualité d'image optimale. Au total, cela représente près de 3,3 Go d'images, pour 7 190 fichiers. Malheureusement, ces jeux d'images ne sont pas parfaitement triés et il y demeure des ratés de numérisation : pages mal cadrées, main de l'opérateur-rice sur la page, etc. Nous avons réalisé une campagne de nettoyage des jeux d'images qui a consisté à retirer ces ratés de numérisation ainsi que les images liminaires de couvertures et de page de garde. A l'issue de cette campagne, nous disposions d'un jeu de 6668 images. Aperçu des images exclues du lot à transcrireA l'aide du logiciel ScanTailor, nous avons dupliqué ce corpus sous une forme binarisée : en valeur de noir ou blanc. Dans certains cas, cela permet d'augmenter la qualité de la transcription automatique. Cela nous a également permis de retirer, sur les pages de titre, les inscriptions manuscrites qui gênaient l'opération de transcription. Aperçu d'une page avant et après binarisation et retrait des éléments parasites.TranscriptionLa transcription des images se déroule en deux temps : il faut d'abord détecter l'emplacement des lignes de texte sur la page, puis transcrire ces lignes à l'aide d'un modèle entraîné à reconnaître la forme des mots et des lettres. La détection des lignes de texte peut s'accompagner de la détection d'autres "objets" sur la page, comme les tableaux, les illustrations, etc. C'est ce qu'on appelle la layout analysis, l'analyse de la mise en page.Les monographies contiennent de nombreux tableaux, dont la mise en page est parfois difficile à traiter informatiquement. Nous avions besoin de détecter leur présence sur l'image, afin de pouvoir les traiter différemment du texte. Quelques exemples de tableaux rencontrés dans les monographiesPlusieurs  solutions logicielles pour la transcription du texte imprimé étaient à  notre disposition. Parmi celles-ci, en première ligne : Transkribus (que nous utilisons pour nos sources manuscrites) et Kraken. En 2018, il n'était pas possible d'obtenir une analyse de la mise en page complète avec Kraken, alors que cela est possible avec  Transkribus, en particulier grâce à FineReader qu'il fournit comme un service. En revanche, il était possible d'entraîner un modèle  efficace pour la transcription du texte avec Kraken  et qui correspondrait à nos besoins. Nous avons donc opté pour une chaîne de traitement passant par les deux logiciels. Un modèle de transcription a été entraîné à l'aide de Kraken à partir de la transcription de 1 300 lignes. Cela nous a permis de contrôler le jeu de caractères connu par le modèle et de limiter la quantité de "bruit" généré au moment de la transcription. Contrairement au modèle de FineReader, le modèle Kraken ainsi obtenu détecte seulement deux types de tirets , long (—) ou court (-), car ce sont les deux seuls types de tirets employés dans le texte, et détecte avec plus de précision qu'un modèle générique les lettres en exposant, comme  « f » , « km » , « fl », etc. Les caractères spéciaux générés sont en outre réduits au minimum de ce qui apparaît réellement dans l'imprimé.Nous avons chargé les 6 668 images dans Transkribus, lancé la détection de la mise en page à l'aide du service FineReader, puis extrait le résultat sous la forme de fichiers XML ALTO. Ces fichiers contiennent divers éléments utiles, tels que : des balises TextBlock/TextLine renvoyant les coordonnées des lignes de texte, ainsi que des balises GraphicalElement, pour les éléments graphiques, qui indiquent notamment les éléments de type  «&#160; table  ».Dans le cadre d'un programme Python, chaque fichier image est associé à un fichier XML ALTO d'où sont extraits les coordonnées des lignes de texte. Pour chaque portion d'image contenant du texte, le programme déclenche la transcription à l'aide de Kraken. Le résultat est stocké dans un fichier XML TEI intermédiaire qui hérite par ailleurs d'un certain nombre de données transmises dans les fichiers XML ALTO fournis par Transkribus. A ce stade, nous obtenons un fichier XML TEI par page, les fichiers étant regroupés dans un dossier pour chaque volume.  Schématisation des étapes suivies pour l'extraction du texte et des informations de mise en pageStructurationUne analyse préalable de la structure du corpus des monographies nous a permis de déterminer une structure générique à deux niveaux :au niveau du volume qui est composé de pages de garde, de chapitres dont certains sont plus spécifiquement des enquêtes sociologiques, ainsi qu'une table des matières.au niveau de la monographie qui est toujours organisée selon trois niveaux de rubriques, tels que :  Structure interne des enquêtes La détection automatique de la structure des volumes passe en tout premier lieu par la détection des chapitres. Pour détecter les limites d'un chapitre, nous identifions les pages de titre, qui en marquent le début ainsi que, par déduction, la fin d'un chapitre précédent. Pour chaque page de titre détectée, nous déterminons, à partir de mots-clefs trouvés sur la page, s'il s'agit de la page de titre d'une monographie. Nous regroupons ensuite les pages depuis une page de titre jusqu'à la page précédent une autre page de titre. Pour les chapitres identifiés comme des monographies, nous recherchons des titres des rubriques. Ils sont toujours identiques d'une monographies à l'autre (( Malgré quelques variations de mise en page dans les volumes les plus tardifs : par exemple, alors que dans les premiers volumes les titres de paragraphes sont toujours notés sur une seule ligne (« § 2. - État civil de la famille. »), dans les volumes de la troisième série, ils sont écrits sur deux lignes (« § 2. » puis « État civil de la famille. »).  ))  , mais leur transcription peut être fautive. C'est la raison pour laquelle nous utilisons une comparaison par distance d'édition avec une tolérance adaptée de déviation par rapport au titre attendu (distance de Levenshtein).La structure logique détectée est transposée dans l'arbre XML TEI sous la forme d'éléments « div ». Pour chaque volume, un fichier rassemble désormais l'ensemble des transcriptions disponibles.Autres traitementsA ce stade, les fichiers ne sont pas encore près pour faire l'objet d'une édition numérique car il reste encore à corriger la transcription, à intégrer un certain nombre de métadonnées collectées par l'équipe de l'EHESS et à optimiser les fichiers en vue d'une navigation facilitées dans les documents. Nous aborderons tout cela dans de prochains billets.Afin de rendre compte des possibilités déjà offertes par cet état des fichiers, un prototype minimal de consultation des documents a été réalisé à partir de la transcription du premier volume, sous la forme d'un fichier HTML hébergé sur un serveur Heroku. Dans ce prototype, une table des matières est générée automatiquement à partir des titres détectés dans le fichier XML-TEI. Grâce à un système d'ancres et de renvois, cela permet d'atteindre directement telle ou telle portion du volume. En outre, pour chaque tableau (ils ne sont pas transcrits) une icône permet d'accéder à l'image de la page correspondante, ce qui permet à l'utilisateur de consulter le contenu du tableau.➡️ Voir le prototype.