EOSここでtを「代々木公園」とすると各特徴は下記のようになります。名詞|助詞|名詞で、「代々木公園」に対するラベルは固有表現かつ名詞なので「B-NP」とかになるわけですね。IOB2といったタグ付け方法が有名っぽいですが他にも色々あるようです(まだ調べてない)。理解仕切れていないのですが、IOB2タグ付けはみなさんどうやっているのでしょうか?ひたすら目視でタグ付け?尋常ではないくらい大変な作業だと思うのですが、、、ちなみに、僕が今お世話になっている会社では、データがちょっと特殊なため目視ではなくPythonで自動化できています。話はそれましたが、これで一つの単語に対し正解データとなるラベルと各特徴量が準備できました。この処理を各単語について行うことになるわけですが、実際に文章を読み込んで特徴量を作ってみると、元のデータ量はそんなに多くないのに生成してみるとめちゃくちゃデータ量増えるやんけ。generateの方が時間がかかったりします。次は、crfsuiteをPythonで使えるようにしたpycrfsuiteのサンプルを動かします。github.comNLTKに含まれているコーパスを利用しています。Williams)は、法律の基本原則を遵守することを可能にするインターネットページの観点から司法制度を保護するための措置を講じる必要があることを強調した。こんな感じの文章に対して学習と予測をさせるのですが、先ほどのように特徴量を生成しないといけません。今回のサンプルではword2featuresという関数で実装されています。この部分は分析した文章の性質によっては独自で作ることはできそうです。細かくなりすぎるとメンテしづらいんだろうなあ。nltknltk.download()こんな感じでCRFについて勉強中です。アルゴリズムについてはまた近々まとめるかもしれません。今のところ、このスライドがわかりやすい気がしてます。13:13crfsuiteとpycrfsuiteについてTweet広告を非表示にする関連記事2018-07-11Macでspark-jobserverのサンプルを動かす&Tips職場のWin10環境でハマりまくっているのでMacでサクッとやって...2018-04-14NLTKでIOBタグ付けと頻出単語描画とストップワード除去とシノニムを探す色々試しました。(5)はてなブログをはじめよう!hatuninaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。