content合理と非合理のあいだ人工知能・哲学・スタートアップについて綴ります。Parsingとは?自然言語処理におけるParsingつまり構文解析とは、単語ごとの粒度で文章に木構造のような意味解析を行うのに都合の良い構造を見出すことだ。)・品詞に基づいた構文解析だろう。..」のような生成規則を逆向きに適用して木を作る)を使って構成される。構成要素ベースの構文解析では名詞句・動詞句のような構成要素を仮定しなければいけないが、これは完全に言語依存で、言語によっては存在しない構成要素や品詞がある(日本語には冠詞や前置詞が無いとか)ので言語横断的に適用することができない。Parsing(DP)だ。Parsingは文中の依存関係Dependencyに基いて構文解析を行う。これの何が嬉しいかというと、構文解析の下流工程である意味解析が非常に行いやすいことだ。動詞の部分では関係に方向がついているので、何が動作の主体で何が客体か、などのような関係を捉えやすい。3つの条件を満たすことが約束されなければいけない。TreeをProjective(投影性?)といい、英語の文は基本的にProjectiveだ(が、他の言語では成立しないことがある)。Treeを求める手法がある。Treeとする方法(2005年頃にアルゴリズムができている)がある。Parsingを行う手法が提案された。パーサーと呼ばれていて、基本構造はよくコンパイラなどで使われるのと同じShift-Reduce型のパーサーだ。下図のように文頭からスタックにどんどん単語を追加していき(SHIFT)、Dependencyを発見したらスタックから単語を取り除いて(REDUCE)AにDependencyを追加する(AはDependencyの集合)という仕組みだ。Parsingの基本的なアイディアだ。予測することであり、その際に使える情報は以下である。なる(それぞれ順に単語・品詞タグ・枝ラベル)。隠れ層は以下の式で表される面白いのは、活性化関数に3乗(立方)を使っていることだ。NNでは一般的ではないが、このタスクでは一番性能が良かったらしい。出力レイヤーは通常通りソフトマックスを用いる。分散表現の一種)で表されている。品詞タグの分散表現というのは、単語の類似度と同じように例えば「”複数名詞”は”冠詞”より”単数名詞”に近い」などのような類似度が反映されたベクトル表現である。このembeddingは通常の単語表現のembeddingとは異なり、対象単語だけではなくスタック・バッファ内の数語を混ぜあわせて作られた表現である。起こる確率)、誤差を次の式で計算する(普通のクロスエントロピー)。普通のNNと同じバックプロパゲーションである。まとめ[1]から引用したパーシングの結果は上の表の通りだ。伝統的なMALTパーサー(人間のてづくり特徴ベース)よりも、過去のいずれのパーサーよりも良い結果(遅いが)を出しているのがわかる。今回は扱わないが、上述の最大全域木MSTベースのパーサーの(特徴ベースでなく)NN版もあるようだ(これは2015年)。Learning(本例は1層なので深層ではないが)が人間のつくった特徴量ベースの手法を蹂躙するという構図は画像認識の領域のみならずいろいろなところで起こっているということが理解できる。コメントをキャンセルメールアドレスが公開されることはありません。