文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長
#文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長
2018年に「ELMo」と、その上位互換である「BERT」が論文発表され、自然言語処理分野のブレークスルーが起きている。「BERT」は更に進化を遂げ「ALBERT」となり、この手法が現在主流になっている。自然言語処理分野が「Word2Vec」で止まってると浦島太郎になります！要注意！
##自然言語処理モデルをいくつか紹介します。
###2013年
####◆Word2Vec
単語をベクトル化して定量的に扱う事が出来るよ！
単語の意味で足し算引き算できるようになったってのが有名。
例）王様－男＋女＝女王
###2014年
####◆sequence to seuqence（seq2seq）
「語句の並び（A）」を入力して、別の「語句の並び（B)」を出力するよ！
（A)に英語を入力して、（B)にフランス語を出力するようにすれば「翻訳」が出来て、
（A)に質問を入力して、（B）に回答を出力するようにすれば「対話」が出来るよ。
###2016年
####◆fastText
Word2Vecより学習が早い！結果はまちまち、、、
####◆GNMT
多分、seq2seqの上位互換。
###2017年
####◆Transformer
RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳。
2017年段階では最強。
###2018年
####◆ELMo
2018年ディープラーニング2大トピックの一つ！単語ベクトル化する手法だけどWord2Vecと違って、文脈を考慮した単語ベクトル化が出来る。「アメ」という言葉の意味がキャンディーなのか、レインなのか、文脈から判断出来るようになりました！すご！
####◆BERT
2018年2大トピックのもう一つ！自然言語処理にブレークスルーを起こしたモデル。
自然言語処理タスクを教師データなしで、かつ双方向に事前学習することが出来るようになった。これにより、WEB上にある莫大な量のテキストデータが利用可能に！！
###2019年
####◆ALBERT
BERTをより軽量に、そして性能向上させた。ALBERT最強！
####◆T5（Text-To-Text Transfer Transformer）
10月24日段階にて世界最高水準（SOTA）であるとされている。