{"word_count": 423, "character_count": 2996}
 Cette évaluation concerne le deuxième corpus d'apprentissage de Bilbo sur les références bibliographiques situées dans les notes de bas de page et qui conservent un aspect normé comme les références du premier corpus ((Pour rappel, nous renvoyons nos lecteurs au tableau de concordance des balises entre l'annotation manuelle et automatique (ici) et à la précédente évaluation (ici).)). Les fichiers d'apprentissage et d'estimation contiennent 364 notes de bas de page incluant chacune 1 à 4 références.Nous n'avons pas mis en place une évaluation comme celle du premier corpus. Nous avons élaboré une évaluation en deux temps :vérifier l'annotation du résultat d'estimation (références annotées automatiquement) et repérer les références non annotée dans les &#60;nonbibl&#62; (parties de texte se situant avant ou après la/les références)corriger les données du fichier d'apprentissage (références annotées manuellement).Première phase : vérification de l'annotation du résultat d'estimationNous avons relevé les notes où les références sont parfaitement, partiellement ou mal annotées ((voir http://bilbo.hypotheses.org/243)).Nous constatons que  :186 notes sont parfaitement annotées164 notes sont partiellement annotées5 notes sont mal annotées9 notes ont été annotées comme comportant des références bibliographiquesDans l'ensemble, l'annotation automatique a été très correcte mais quelques erreurs relevées dans la précédente évaluation persistent :sur l'auteur:inversion des noms et prénoms des auteursune mauvaise annotation de l'auteursur le titre des articles/chapitres et le titre des revues/ouvrages:une confusion dans l'annotation des titres en &#60;title&#62; et &#60;booktitle&#62;une partie du titre est seulement annotéeun mauvais découpage du titre qui peut se trouver annoté avec une autre balisesur l'éditeur:quand les éditeurs comprennent des noms et prénoms (ex : JB Lippincott Company), ils sont généralement annotés en &#60;forename&#62; et &#60;surname&#62;)des éléments de l'éditeur annotés avec d'autres balisesParmi les notes comportant des balises &#60;nonbibl&#62;, nous pouvons constater que 42 notes ont des références partiellement ou mal annotées :soit le ou les auteurs n’ont pas été repérés dans le textesoit le ou les auteurs avec une partie ou la totalité du titre n’ont pas été annotés mais le reste de la référence (partie du titre de l’article ou revue ou ouvrage, le lieu, la date, les pages, l’éditeur) a été annotésoit le ou les auteurs avec une partie ou la totalité du titre ont été annotés mais pas le reste de la référencesoit un élément de la référence n’a pas été annoté dans le &#60;nonbibl&#62; Généralement, il s’agit d’un mauvais découpage de la référence.Deuxième phase : correction des données d'apprentissageComme dans la première évaluation, nous avons corrigées les données du test d’apprentissage. En effet, nous avons constatés des erreurs dans l’annotation manuelle, des oublis d’annotation ou un mauvais découpage de la référence.