ログインぱらめでぃうすblogを引っ越しました。以後このblogは更新されません。※私は言語処理に関する知識は無いので、あくまで「IPADICとは何ものなのか?」という点に絞ってのみ記述しています。ここまで突っ込んだのは戯れですが、一応の目的として現在から未来にわたって無料で入手できる形態素解析を使うに当たり、「メンテナンスが継続されている辞書」が入手できるかを調べたかったという意図もあります。日本語を処理する上で形態素解析というのはわりと欠かせないものです。Webのサービスでよく用いられている形態素解析器にはChaSenとmecabがありますが、これらのエンジンは何らかの辞書を利用して日本語を解析します。ちなみに形態素解析器と言うのはChaSenの表現を帰りれば「形態素解析器とは、入力文を単語単位に分割し品詞を付与するツールである。開発経緯をご覧ください。ここでChaSenにもMeCabにも、標準的な辞書として「ipadic」「IPA辞書」というのが提供されていて、多くの人がこれを使っていると思います。*1しかし、この辞書「IPA」という名前がついている割にはIPAが維持しているわけでもなさそうです。MaCabではIPA辞書をhttp://mecab.sourceforge.net/srcからダウンロードするように指示しています。ちなみにChaSenではhttp://sourceforge.jp/projects/ipadic/が示されています。)*2一方、MeCabで利用するmecab-ipadic-2.7.0-20070801.tar.gzに含まれるNoun.adjv.csvの先頭5行は以下のようになっています。用いられるパラメータを含みます。パラメータ推定した辞書です.となっているので、どうもIPADICというのはChaSenのために作られたもので、MeCabはこれに対して新しい要素を付加して利用しているようです。関わる研究開発)のグループの方々に大幅な修正,改良を行っていただき,その後,様々な修正を行ったものです.本辞書システムの構築に携わられたすべての方々にに対して心より感謝します.と言うことで、(もともとは)ChaSenの開発者が何らかのデータを元に「IPA品詞体系(THiMCO97)」に基づいたデータを作成したというのが始まりのようです。・単語の一覧の出自は?・「解析済みのデータから学習した」の学習素材の出自は?ipadic-2.7.0.tar.gzのドキュメントを読んでいると「辞書の著作権」の項目に以下のように書いてあります。研究成果物を含んでいます.ICOTとはなにか?もうcloseした組織のようなのだが、(財)新世代コンピュータ開発機構という組織らしい。(ITPro情報通信用語辞典)ICOTはいろいろな研究成果を残しているようなのですが、この手の辞書についての研究成果がどんなものかと言うことを調べていると、次のものが見つかりました。固有名詞以外の全エントリをチェック(可能性に基づく品詞の整理)し、表記ゆれ情報を付与し、複合語の構造を付与する作業を行っています。固有名詞については不要な語、新規追加などの整理を随時行っていきます。Dictionary」として保守されているようです。ちなみに、NAIST-jdicのChaSen用、MeCab用もメンテナンスされています。本日時点での最終更新が2008-09-16なのでかなり新しいです。*6この変更に至る経緯は以下のライセンス文に併記されています。基にして作成されました。万件にまで増加しました。辞書の原形をとどめていませんでした。この間不要な語を削除し、新規語の追加などを行いました。ライセンスとして公開しております。表記ゆれつき辞書、複合語情報つき辞書についても公開していきたいと考えております。これでやっと謎が解けました。内容・ライセンスの精査によりNAIST-jdicとして整理されると言うことのようです。ちなみに最後に見つけたんですが、IPAフォーラム2007の発表「茶筌」の開発を振り返って(pdf)でも経緯が触れられていたりします。最近は形態素解析辞書UniDicというものがあり、ChaSen、MeCabともにこちらを使うこともできるようです。うっかりしていましたが、形態素と言うのは「それ以上分割できない最小の文字列」ということです。「第五世代コンピュータ」という大プロジェクトがあったというのは伝説の領域で聞いていました。(Σも)でも、ICOTという組織名はは初めて知りました。(のルール作成方法)には、大別して2手法あるそうです。規則化したものですが、基本的には自然言語には例外が数多く存在し、ルール自体が非常に複雑になりがちです。2.21.Informationライトノベル書評blogではありません。ところによっては"doumae"と名乗っている人間の個人的なblogです。