入力は文節区切りとするので、switch文はINPUT_CHUNKを想定。文により大きく2つに分かれる。助詞,接続助詞,*,*,*,*,で,デ,デ要はif文の前半(l.486のelseの前)は'*'ではじまる「文節情報」の行の処理であり、後半は各形態素の行にあたる。あるが、文字列を指定された分割文字(この例だと空白)でトークンに分割するものである。(ここの"token"は形態素ではないので注意。treeの中に文節スロットを追加する。定義はl.338にある。文節の情報はここに入る。コードでは文節の情報をいろいろセットしているが、入力が文節区切りならばほとんど関係ない情報ばかりである。素性情報if文後半、形態素の方。tokenize()。今度は分割文字がタブなのに注意。上の入力フォーマットで「読ん」の次がタブなのだ。動詞,自立,*,*,五段・マ行,連用タ接続,読む,ヨン,ヨンのようになる。このcolumn[1]の内容は、mecabの辞書のエントリ内容ほとんどそのままである。同様、treeへのスロット追加。形態素の文字列そのもの。「正規化された」文字列。からして、全角/半角表記を統一するものだろう。コンマを分割したものが入る。tokenizeCSV()はtokenize()と同様の動作、ただし分割文字がコンマになる。次回は素性選択レイヤを見る。17:22cabochaソースを読む(2)入力データから情報抽出Tweet広告を非表示にする関連記事2014-06-26システム稼働開始まただいぶ間が空いてしまったが、以前記事に書いた「オブジェ...2012-12-03ちょっと立ち止まって分析してみるツテをたどって、京大コーパスなるものにアクセスできたのでち...2012-10-10係り受け解析器を設計するcabochaの係り受けは、短い文だとまあまあいいものの、ちょっと...2012-09-27cabochaソースを読む(4)係り受けレイヤいよいよ本丸の係り受け部分を見ていく。素性選択レイヤを見る。ソースはselector.cpp。係り受けの次のステップ月別アーカイブはてなブログをはじめよう!yu_hatvaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。