WordEmbedding
単語を数値のベクトルとして表現する方法のこと。
代表的な手法として、Word2Vecがある。
Word2Vec
2013年にGoogleが開発した単語表現の手法で、単語の意味を表現する「単語ベクトル」を作成することができる。コサイン類似度を算出すれば、2つの単語がどれくらい近いのかが算出できる。
cosθ = (A・B) / |A|・|B|
Transformer
Transformerとは、自己注意力（Self-Attention）という機構を用いたニューラルネットワークのアーキテクチャのこと。自己注意力とは、入力された系列の各要素が他の要素とどの程度関連しているかを計算する仕組み。Transformerは、エンコーダとデコーダという二つの部分から構成され、エンコーダは入力系列をベクトルに変換し、デコーダはベクトルから出力系列を生成する。Tr機械翻訳や文章生成などの系列変換（Sequence-to-Sequence）のタスクに適している。
https://zero2one.jp/ai-word/transformer/
https://udemy.benesse.co.jp/data-science/transformer.html
BERT
BERTとは、Bidirectional Encoder Representations from Transformersの略で、Transformerのエンコーダのみを用いた言語表現モデルのこと。
BERTは、大規模なテキストコーパスから事前学習を行い、マスクされた単語の予測や文の連続性の判定という二つのタスクを解く。
この事前学習により、BERTは文脈に応じた単語や文の特徴を捉えることができる。事前学習後、BERTは出力層を追加するだけで様々な自然言語処理のタスクにファインチューニングできます。 BERTは、自然言語理解や質問応答などのタスクで高い性能を発揮したらしい。
GPT-n
GPT-nとは、Generative Pre-trained Transformerの略で、Transformerのデコーダのみを用いた言語生成モデルのこと。GPT-nは、大規模なテキストコーパスから事前学習を行い、左から右に向かって単語を予測する言語モデルを構築する。
この事前学習により、GPT-nは一般的な言語知識や文法を習得することができます。事前学習後、GPT-nは様々な自然言語処理のタスクにゼロショットやファインチューニングできます。GPT-nは、文章生成やテキスト要約などのタスクで高い性能を発揮します。
参考ページ