原文

NNを使った、速く正確な依存構文解析 (A Fast and Accurate Dependency Parser using Neural Networks)
Danqi Chen (2014)

1. 要約／背景

(普通の文章で)単語のデータ整形に工夫をして、データ間の依存性とスパース性を高めた。
以上の処理をもとに、NNにかけると、学習のスピードと精度が上がった。

2. 骨子の理論

(1)データの準備
Sentense(文)を単語・POS(Part-of-Speech)タグ・Arc量に分解する。
POSタグは、各単語に固有のものが振られる。2語or3語間の関係や依存性を捉える上で、大きな役割を果たす。(下図のVBZとか)
Arcは、単語間の遷移・移動を表す情報量。文法的な性質や操作の内容を内包しており、Parseにかけるときの実行的役割を果たす。
例:amod: adjective modifier形容詞・修飾機能を捉えるarc

(2)Parse作業の場
作業場(Stack)と、待合室みたいなBufferを用意し、適宜2集合間をShift(≒Transition)させ、Parseを進める。

(3)学習方法
Words、POSタグ、arc labelを入力ベクトルに格納し、NNにかける。
softmax関数によるクラス分類を通して、アウトプットと教師ラベルを比較していく。

(4)活性化関数
$y = x^3$という3次関数を使っているところに特徴がある。
3語間の特徴を捉えたりするときに、当てはまりが良いらしい。

3. モデル適用例

Maltというパフォーマンスの良いParseアルゴリズムがあるが、
Maltと正答率が拮抗する上に、1秒辺りの処理文数が2倍近くにのぼっており、処理能力の高さが伺える。