コードネームは初話ユウスマートフォン用の表示で見るコードネームは初話ユウ自然言語処理でいろいろやってみるこの広告は、90日以上更新していないブログに表示しています。係り受けもまだ終わったわけではないが、そこそこ精度も出たし改善案も見えているしで一段落してはいるので、同じことをずっとやってるのも飽きるというのもあり、そろそろ次のステップのことを考えはじめている。明確にやることが決まっているわけではないのだが、何をするにせよ、各単語の意味なり用法なりを記述した、いわゆる「辞書」を作ることが必須になりそうだ。イメージとしてはWordNetとかFrameNetとかあんな感じのもの。WordNetやFrameNetそのものではだめで、新しく作る必要がある。辞書を一から作るとなるととんでもなく大変な作業なので、単語数どれだけいるのか?よって工数はどのくらいになりそうか?を見積もる必要がある。全単語を網羅する完全な辞書ができるわけはないので、当初は小さい辞書を作ってプロトタイプを作る、といったことになるだろう。すると、最初に辞書に入れるべき単語はどれか?また、単語いくつあれば、文章全体の何%がカバーできるのか?といったことが気になってくる。今回はそのあたりの情報を収集してみたのでまとめておく。日本語の単語数とは一体いくつあるのか?ウェブ上の国語辞書「デジタル大辞泉」は見出し語24万だそうである。この辞書、見出し語をざっと見ると、私もさっぱり知らないような単語ばかり並んでいる。一般的な日本人の語彙はもっと少ないはずだ。total動詞と形容詞は活用形の違いも1語にカウントされているのでだいぶ多くでていることに注意。ちなみに{Verb,Adj}.csvを'基本形'でgrepすると、それぞれ15446/3641行ある。Nounは固有名詞も含んでいるので多くなっている。予想はしていたが、やはり名詞が圧倒的に多い。206941形容詞が動詞より多い等、若干傾向が違うが、大筋似ているようだ。よると、小学生向け辞書で3万語、高校向けで8万語くらいを収録のようだ。これも、一般的な小学生/高校生の使う語彙よりかなり多く収録していると思われる。4万5千~5万語だそうである。よると:>満年齢で6歳になる子どもの場合、理解語彙の総量は、およそ5000~6000語ほど。>13歳では3万語前後。20歳ではおよそ4万5000~50000語ほどという調査結果が出ている。ことなので、まあ大体こんなもんか。ちなみにこれらは*理解*語彙(見て/聞いてわかる語彙)であって、使用語彙(実際に自分が使う語彙)はもっと少ない。理解語彙の5万よりだいぶ少ないが、まあ5万といってもひとりひとり(専門等によって)かなり違い、共通するものは少ないのかもしれない。たしかに女子高生の会話なんか聞いたってちんぷんかんぷんだし。文系の人にプログラムの話してもわかってもらえないし。ツイッターで専門の深い話なんかしないだろうし。いうのを考えると、誰もが使うような共通項の語彙というのは8000程度なのかもしれない。