概要

GAN(Generative Adversarial Network, 敵対的生成ネットワーク)について、その概要を述べる

GANとは

GAN = 『生成器』『識別器』と呼ばれる2つのニューラルネットワークの間で行われるゼロサムゲーム
- ニューラルネットワーク
- ゼロサムゲーム
  - ゲーム理論の用語
生成AIの重要なフレームワークの一つ
- 生成モデル
  - 統計学における「分類」のアプローチの1つ
    - 分類器(データから推定(学習)される分類用の統計モデル)の計算アプローチはおもに3つある
      1. 生成モデル(generative models)
        $X,C$をデータとクラスの確率変数、$\theta = (\theta_1,\theta_2)$をパラメータとしたとき
        
        結合確率$\Pr[X,C|\theta]$を$\Pr[X,C|\theta]= \Pr[X|C,\theta_1] \Pr[C|\theta_2]$とモデル化したモデル
        
        朱鷺の杜
        
        代表例
        
        線型識別分析
        
        Gaussian mixture model (and other types of mixture model)
        
        Hidden Markov model
        
        Probabilistic context-free grammar
        
        Bayesian network
        
        Naive bayes(ナイーブベイズ)
        
        Autoregressive model(自己回帰モデル)
        
        Averaged one-dependence estimators
        
        Latent Dirichlet Allocation
        
        Boltzmann Machine
        
        Variational Autoencoder
        
        GAN
        
        Flow-based generative model
        
        Energy baased model
        
        Diffusion model(拡散モデル)
      2. 識別的モデル(discriminative models)
        
        データ$X$が与えられたときの条件付確率$\Pr[C, \theta|X]$を$\Pr[C, \theta|X]= \Pr[\theta] \Pi_{i} \Pr[c_i|x_i,\theta], \text{where }\Pr[c_i|x_i,\theta] = \frac{\Pr[x_i,c_i|\theta]}{\sum_{c\in C} \Pr[x_i,c_i|\theta]}$とモデル化したモデル
        
        discriminative models とも conditional modelsとも呼ばれる
        
        代表例
        
        ロジスティック回帰
        
        k-nearest neighbors algorithm(k-最近傍法)
        
        Support Vector Machines
        
        Decision Tree Learning
        
        Random Forest
        
        Maximum-entropy Markov models
        
        Conditional random fields
      3. 確率モデルを用いないで導く分類器
        
        これはdiscriminative modelsと混同されていることが多く、区別しない場合も多いので注意が必要
    - クラス分類への応用の文脈
      - 、観測データ x からラベル y(またはラベルが従う確率分布)を得ることを期待している
      - このとき、3つの方法が考えられる
        
        確率分布を用いず直接計算(distribution-free classifier)
        
        観測データがX=xと与えられた条件のもと、ラベルYについての条件付確率$P(Y|X=x)$を推定(discriminative model)し、それに基づいて分類を行う。
        
        同時確率分布$P(X,Y)$を推定し(generative model)、そこから条件付確率$P(Y|X=x)$を計算し、それに基づいて分類
      - これらは、1->2->3と、段階的に、回りくどい、間接的なアプローチとなっているが、段階的に確率論的になっている。これは、段階的に、より多くのドメイン知識や確率論を適用できることを意味する。
      - 問題に応じて3つの方法を使い分けたり組み合わせたりする
  - 以下のように、よりクリアな定義を与えることもできる
    - 生成モデルとは、ターゲットのデータ$Y=y$が与えられたときの観測量$X$の条件付確率$\Pr(X|Y=y)$ついてのモデルである
    - 生成モデルとは、観測量のデータ$X=x$が与えられたときのターゲット$Y$の条件付確率$\Pr(Y|X=x)$ついてのモデルである