Unsupervised and semi-supervised learning of morphology provide p ractical solu- tions for processing morphologically rich languages with less human labor th the traditional rule-based analyzers. Direct evaluation of the learning methods using lin guistic reference anal- yses is important for their development, as evaluation through the final app lications is often time consuming. However, even linguistic evaluation is not straightforward for fu ll morphological analysis, because the morpheme labels generated by the learning method can be arbitrary. We review the previous evaluation methods for the learning tasks and propose new variations. In order to compare the methods, we perform an extensive meta-evaluation u sing the large collec- tion of results from the Morpho Challenge competitions. RESUME. L'apprentissage non supervise et semi-supervise de la morphologie fo urnit des so- lutions pratiques pour le traitement des langues morphologiquement riche s et requiert une intervention humaine reduite comparee aux analyseurs traditionnels base s sur des regles. L'evaluation directe des methodes d'apprentissage utilisant des analyse s de reference linguis- tique est importante pour leur developpement, puisque l'evaluation par lesapplications fi- nales prend generalement beaucoup de temps. Cependant, meme l'ev aluation linguistique n'est pas simple pour l'analyse morphologique complete, car les identifiants de m orphemes gene- res par la methode d'apprentissage peuvent se reveler arbitraires. N ous passons en revue les methodes d'evaluation existantes pour les tâches d'apprentissage et pr oposons de nouvelles va- riations. Afin de comparer les methodes, nous effectuons une vaste meta -evaluation a l'aide de l'importante base de resultats provenant des competitions Morpho Challen ge.
['Sami Virpioja', 'Ville Turunen', 'Sebastian Spiegler', 'Oskar Kohonen', 'Mikko Kurimo']
Empirical Comparison of Evaluation Methods for Unsupervised Learning of Morphology