コードネームは初話ユウスマートフォン用の表示で見るコードネームは初話ユウ自然言語処理でいろいろやってみるこの広告は、90日以上更新していないブログに表示しています。2012-12-03ちょっと立ち止まって分析してみるツテをたどって、京大コーパスなるものにアクセスできたのでちょっとトライしてみた。KNBCとあまり変わらないレベル。元データがフリーでないので環境の公開はしないが、やってることとしてはcabOnKnbcと似たようなことをやっている。(IPA辞書の文節に変換して、できなかった文章は外して、etc)今までは改善ネタを探すのに、誤答を出した文章をいくつか見てみてその解析結果を見て考える、というまあなんというか原始的なやり方がメインだったが、京大コーパスはKNBCよりかなり量が多く、いくつかの誤答を見ただけではちょっと対応しきれないかも(時間かけて改善して、正答数3とかしか上がらなかったら悲しい)、という気がする。コーパスの文章はどんな感じなのか、どんな傾向があるのか、どういうところで間違えているのか、どこを修正すべきなのか等をつかむため、いくつか統計をとってみた。結果を以下にまとめてみる。対象とした文章の数と、それに含まれる文節の数を数えた。文節区切りはcabochaによるもの。358744一文あたり9.7文節。ちなみに、1文節と2文節の文は除いてある(係り受けやる意味がないので)ため、実際にはもう少し短いはずだが、まあ大勢には影響ない。0上の見方は、たとえば3文節からなる文章は1744個あった、ということ。コーパス中には、かぎかっこの中に引用文が複数あって句点(。)で区切られてるものもあるのだが、その辺は気にせず単純に数えている。1文節の文は除いたんじゃないの?と自分で書いててつっこみたくなるのだが、なぜ4個あるのか、原因調べてない。最後の形態素)の品詞で分類してみた。助詞の場合は細分類まで見た。356842たとえば格助詞の場合なら、その文節が「XXが(/を/に/...)」の形だった、ということ。この6つで86%を占める。係ろっとが誤答したケースについて、上と同じく係り元文節の機能辞の品詞で分類してみた。この5つで76%、約4分の3を占める。このほかにフィラーとか接頭詞とかがあるため、数字は細かいところまでは合っていない。上の数字との比較では、最後の2文節を除くか否かとかで処理に違いがあるため、やはり細かいところは整合性がない。終助詞が誤答数>総数になってて変だと思ったが、調べてみたら助詞カの細分類が「副助詞/並立助詞/終助詞」となっていて、ここの関係で数え間違いしていた。大勢に影響ないと思われるのでほうってある。この数字と上のを比べると、品詞別の誤答率、なんてものも出せる。どのタイプの誤答をまずいちばんに調査するべきなのかと考えると、誤答数をみるべきか総数(誤答率)もみるべきか迷うところ。連体化助詞などは誤答数はそれなりに多いが総数も多く、誤答率としてはけっこう低い。これを修正しても、ひとつの修正で直るのはごく一部なんじゃないだろうか、などとよけいなことを考えてしまう。0これの見方は、文中に1個だけ述語を持つ文が6833個あった、ということ。なんでこれを数えたかというと、格補語にせよ接続助詞にせよ「述語のみに係る」文節は多いので、誤答の多くは「述語が複数あって、そのどれに係るかを間違う」ケースが多いと思ったからである。上の数字から平均を計算すると、1文中の述語(動詞、形容[動]詞、名詞+助動詞ダ)の平均個数は3.0である。以上から見ると、やっぱり名詞がまずそうかな。思ってログを見ると、副詞可能タイプ(結局、当面、etc)の扱いは明らかにおかしそう。)の組の頻度をとってきて判定に使えば改善できるんじゃないか、などと考えたり。係助詞についても格助詞の情報が使えそうか。改善点はありそうである。係り受けの次のステップ月別アーカイブはてなブログをはじめよう!yu_hatvaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。