まずはじめに
一般社団法人生成AI活用普及協会（GUGA）が主催する「生成AIパスポート」の資格取得に向けて学習中である。
生成AIの流れ
ボルツマンマシンと制約付きボルツマンマシン
ボルツマンマシンはニューラルネットワークの1種で、実数を扱った多層学習が可能。
全ユニット同士が接続し、ネットワーク間のやり取りがランダム。
それに対し制約付きボルツマンマシンでは、
ネットワークの入力層と隠れ層の2つに分けることで、学習しやすいモデルになった。
次元削減、教師なし学習を可能に。
自己回帰モデル
1990年代～2000年代にかけて、自己回帰モデルが進展。
過去の値を使って、次の値を予測できる。
CNN(畳み込みニューラルネットワーク)
画像データを扱うために設計されたニューラルネットワーク。
画像の一部分ずつ値を抽出し、全体の特徴を認識する。
VAE(変分自己符号化器)
データを圧縮しながら元のデータを再現するニューラルネットワーク。
エンコーダ→潜在ベクトル→デコーダの流れで低次元の表現に変換する。
潜在ベクトルではデータの本質を捉えたベクトル。
GAN(敵対的生成ネットワーク)
生成器vs識別器で競い合わせ、生成器はより本物に近いデータを生成、
識別器は本物か偽物かを判別する。
RNN(回帰型ニューラルネットワーク)
時系列でデータを処理する。順番が重要
LSTM(長・短期記憶)
長期記憶ができるように改良されたRNN。
Transformer
RNNやLSTMと違い、時系列関係なしに全部の単語を同時に見ることが可能
具体的には入力された言葉の重要度を得点付け。位置エンコーディングによる単語の位置把握。
GPTモデル
TransformerをベースとするOpenAiが開発したモデル。
大量のテキストデータから文章を生成する。
BERTモデル
Transformerを基に発展したモデル。
単語にある前後の言葉を利用することができる。
そのため、一部の単語が欠けていても、欠けた単語を推測することができる。
また、NSP(Next Sentence Prediction)により、文の関連性を理解する。
RoBERTaはBERTの改良モデル。BERTの訳10倍のデータ量により訓練された。
ALBERTはBERTの軽量モデル。パラメータ数を大幅減少。
InstructGPT
人間の指示に従うように調整されたGPT。(主にGPT3.5以降)
RLHFにより、人間の評価を基に強化学習を行う。
アライメントという概念