GANとは

GAN

GANは「generative adversarial networks」の略

日本語だと敵対的生成ネットワークという意味（adversarial=敵対的）

その一種のDCGANでブレーク（以下DCGANベースで説明）

生成モデル

出力が画像等になるモデル
DCGANでは、乱数を入力すると画像が生成される

敵対的とは

生成するネットワークと品評するネットワークを切磋琢磨させながら訓練

生成するネットワーク・・・Generator
品評するネットワーク・・・Discriminator

と呼ばれる（モデルによっては別の名も）

Discriminatorは、画像がデータセットに含まれる画像なのか生成した画像かを分類

DCGANの訓練の登場人物

訓練データセット・・・画像データセット
生成される画像・・・訓練データセットにありそうな画像
Generatorの入力・・・ランダムなベクトル
Generator・・・ランダムなベクトルを入力して画像と同じ形のテンソルを出力するネットワーク
Discriminator・・・画像を入力して0から1の値を出力するネットワーク
（例えば、1に近いと本物、0に近いと生成したものの意味）

DCGANの訓練の雰囲気

GeneratorとDiscriminatorを交互に訓練

Discriminatorは、生成された画像かデータセットの画像かを識別するように訓練
Generatorは、Discriminatorがデータセットの画像と誤認するように訓練

DCAGNの概要図

具体的な実装方法

$x$: データセットの画像
$z$: ランダムなベクトル

\begin{align}
L_G(z) &= -\log D(G(z)) \\
L_D(x,z) &= -\log D(x)-\log(1-D(G(x)))
\end{align}

$L_G$はGeneratorの損失、$L_D$はDiscriminatorの損失

ごちゃごちゃしているけど、通常の分類問題であるようなcross entropyを使った損失関数
$L_G$はGenenratorが生成した画像を、Dが本物と分類するための損失関数
$L_D$はGenenratorが生成した画像を、Dが偽物と分類し、データセットの画像を本物と分類するための損失関数

実例

生成例

入力の値を少しずつかえると連続的に顔が変わったり

デモ

tensorflow-hubに訓練済みのモデルがあるのでそれを試しましょう
https://www.tensorflow.org/hub/modules/google/progan-128/1

モデル・・・progressiveGANというタイプのモデル
データ・・・人の顔のデータセットCelebA
入力・・・512次元のベクトル
生成・・・128x128の画像（0〜1の値に正規化されている）

必要なもののインストール

pip install tensorflow tensorflow-hub pillow

(pillowは生成した画像を保存する用)

今回の環境は、
Python 3.6.6
tensorflow 1.10.1
tensorflow-hub 0.1.1
pillow 5.2.0

サンプルコード

import tensorflow as tf
import tensorflow_hub as hub
from PIL import Image
import numpy as np


# モデルのダウンロード(時間がかかる)
gan = hub.Module("https://tfhub.dev/google/progan-128/1")


# 入力の乱数(placeholderなどを使ってカスタマイズも可)
z_values = tf.random_normal(shape=[10, 512])
images = gan(z_values)


with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    # 画像生成
    out = sess.run(images)

    # 保存
    for i, image in enumerate(out):
        Image.fromarray(np.uint8(image * 255)).save(f"result_{i}.png")  # 値を0〜255にして保存

GANの訓練の例

訓練には例えば

GANの発展

GANの訓練は難しい

理屈は、ゆっくり考えると難しくない
けど、実際に訓練させると簡単じゃない

Discriminatorが厳しくなりすぎて、Generatorがどんな画像を生成したらいいかわからなくなって、ノイズのような画像を生成
同じような関数を片方では増やそうとして、もう一方では減らそうとして、これが0に近づけばいいって指標がない
いつ訓練を終わらせたらいいか分からない
分類問題みたいに正解がきっちりしているわけではない

2017年を中心に色んなGANの亜種が盛んに研究された

とりあえずGANすることになったら

とりあえずGANするならこれにしとけってものが

WGAN
WGAN-gp（WGANを少し変更したもの）

WGAN

データセットは画像の確率と解釈できる
乱数から生成される画像の確率分布も考えている対象

この2つの確率が近いようにするのが生成モデルのテーマ

近いかどうかを表現するためにWasserstein距離というものを使う

WGANのありがたみ

Wasserstein距離が近似的に計算可能
訓練の進捗をWasserstein距離（の近似値）だけで判断可能
これが小さくなっていくとOK

応用

応用パターン

単純に画像などを生成するだけではない

cycleGAN
画像の傾向を交換するようなことを行う
Everybody Dance Now
姿勢（関節などの位置）から、その姿勢をした姿をGANで生成。
異常検知
超解像

どんな入力でどんな意味合いのものを生成するかがポイント

他にも

画像以外にも

文書
SeqGAN
音楽
WaveGAN

など

機械学習名古屋研究会でもGANを扱った論文を紹介する人が結構いたり

以上、ご静聴ありがとうございました