Word2Vec以降をざっくりと知っておこう！ #word2vec

2018年に「ELMo」と、その上位互換である「BERT」が論文発表され、自然言語処理分野のブレークスルーが起きている。「BERT」は更に進化を遂げ「ALBERT」となり、この手法が現在主流になっている。自然言語処理分野が「Word2Vec」で止まってると浦島太郎になります！要注意！

自然言語処理モデルをいくつか紹介します。

単語をベクトル化して定量的に扱う事が出来るよ！

単語の意味で足し算引き算できるようになったってのが有名。

例）王様－男＋女＝女王

「語句の並び（A）」を入力して、別の「語句の並び（B)」を出力するよ！

（A)に英語を入力して、（B)にフランス語を出力するようにすれば「翻訳」が出来て、

（A)に質問を入力して、（B）に回答を出力するようにすれば「対話」が出来るよ。

Word2Vecより学習が早い！結果はまちまち、、、

多分、seq2seqの上位互換。

RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳。

2017年段階では最強。

2018年ディープラーニング2大トピックの一つ！単語ベクトル化する手法だけどWord2Vecと違って、文脈を考慮した単語ベクトル化が出来る。「アメ」という言葉の意味がキャンディーなのか、レインなのか、文脈から判断出来るようになりました！すご！

2018年2大トピックのもう一つ！自然言語処理にブレークスルーを起こしたモデル。

自然言語処理タスクを教師データなしで、かつ双方向に事前学習することが出来るようになった。これにより、WEB上にある莫大な量のテキストデータが利用可能に！！

BERTをより軽量に、そして性能向上させた。ALBERT最強！

10月24日段階にて世界最高水準（SOTA）であるとされている。