{"word_count": 519, "character_count": 4068}
Pour cette première phase d'évaluation, nous allons vérifier comment le modèle CRF développé sur le premier corpus a annoté les références bibliographiques. Nous pouvons d'abord observer que les éléments ayant permis l'annotation des références ont été simplifiés pour l'apprentissage de Bilbo (voir l'article Revision to the learning and test data).Afin de relever les erreurs d'annotation de Bilbo, nous avons opéré un classement de ces annotations en trois catégories :CatégorieCaractéristiquesParfaitement annotéeTous les éléments de la référence sont correctement annotésPartiellement annotéeLes éléments sont partiellement annotés ou l’information sur l’élément à annoter n’est pas la bonneMal annotéeL’annotation présente des erreurs importantes ou une confusion dans l’annotationNous avons évalué 215 références bibliographiques du test sur les 715 du premier corpus réparties selon les catégories cités :À la suite de cette première constatation, nous avons relevé chaque type d'erreur classé selon cinq grandes familles correspondant aux éléments importants d'une référence bibliographique :"Auteur" qui regroupe les labels &#60;forename&#62;, &#60;surname&#62; et &#60;orgname&#62;"Titre" avec &#60;title&#62; et &#60;booktitle&#62;"Marques de publication" qui correspondent aux labels &#60;date&#62;, &#60;publisher&#62;, &#60;place&#62;, &#60;biblscope&#62;, &#60;bookindicator&#62; et &#60;extent&#62;"Ponctuations et abréviations" pour les labels &#60;c&#62; et &#60;abbr&#62;"Autres" pour les labels qui n'entrent dans aucune de ces catégoriesLa répartition de ces erreurs sur les "références annotées partiellement" donnent le diagramme suivant :À partir des observations du résultat des données d’estimation, on peut dresser une typologie des erreurs faites par Bilbo :Pour « Auteur » :Les tokens normalement annotés par &#60;surname&#62;, &#60;forename&#62; se trouvent annotés soit par &#60;place&#62; (majorité des cas) soit par &#60;name&#62;Les tokens avec &#60;orgname&#62; ou &#60;surname&#62; sont annotés avec &#60;publisher&#62;Les tokens avec &#60;orgname&#62; ou quand il y a plusieurs auteurs sont annotés avec &#60;title&#62;Les labels &#60;forename&#62; et &#60;surname&#62; peuvent être inversésUn mauvais découpage entre le nom et le prénom de l’auteur voire la date affectée au nom ou au prénomPour « Titre » :Une confusion dans l’annotation des titres entre &#60;title&#62; et &#60;booktitle&#62;Un mauvais découpage du titre qui peut se trouver annoté avec un autre labelLes tokens avec &#60;title&#62; ou &#60;booktitle&#62; peuvent être annotés avec &#60;place&#62; ; &#60;publisher&#62; ; &#60;biblScope&#62; ; &#60;surname&#62; ou &#60;forename&#62;Les dates dans les titres se retrouvent annotées avec &#60;date&#62;Pour « Marques de publication » :Une confusion dans l’annotation des tokens entre &#60;place&#62; et &#60;publisher&#62;Les tokens avec &#60;publisher&#62; sont annotés avec &#60;title&#62;Des difficultés dans l’annotation des chiffres (date, numéro de volume, nombre de pages), les tokens avec &#60;biblScope&#62; le sont avec &#60;date&#62;, &#60;edition&#62;, &#60;extent&#62;Un mauvais découpage entre les éléments d’une référencePour « Ponctuations et Abréviations » :Les tokens avec &#60;abbr&#62; sont annotés en &#60;nolabel&#62;Mauvais découpage entre les éléments d’une référencePour les « autres » :Les tokens avec &#60;nolabel&#62; sont annotés avec un autre labelConfusion pour les tokens chiffrés avec &#60;edition&#62; qui sont annotés avec une autre baliseParmi les 7% de références présentant des confusions dans l’annotation automatique, on peut signaler comme principaux problèmes :L’inclusion d’une référence dans une autre se trouve être mal annotéeLe mauvais découpage entre les éléments d’une référence qui entraine une mauvaise annotationLa mauvaise annotation de la référence bibliographiqueDans la prochaine évaluation, il s'agira de corriger les données du test qui ont été annotées manuellement et de remplacer les labels de la catégories &#60;Autres&#62; par un des autres labels.