これは琉球大学アドベンドカレンダー16日目の記事です．
琉球大学OBのN/A3と書いて，なーさんと呼びます．投稿ギリギリでもうしわけないです．

1. はじめに

2014年にGoodfellow氏がGANを開発して以来，コンピュータが自動で画像を生成してくれる世界が到来しました．そして，年を重ねる毎に論文数も爆発的に増えて，深層学習 $\times$ 画像生成は広く認知された分野かと思います．

興味がある方は，以下のサイトたちがオススメです．前者はホットな論文を教えてくれるので，「こんなことができるのか！！」と驚きますし，後者はGANの歴史的論文を追っていくので，次何読めばいいか道を教えてもらえます．

そんな画像生成なのですが，実は正規性を担保したデータセットに対しては，(深層学習を使わなくても)単純な確率モデルでも生成や画像変形ができます．今日の内容は，じゃあどうやってやるんだって話をしていこうかと思います．

2. 平均画像と分散画像

単純に，画像を生成したい場合は，データ集めてきて，データの平均と分散を求めるだけでも画像生成はできます．（~~ただし，求めている画像かどうかは別~~）

ということで，レシピ. まずは，データを読み込む関数を作って，画像をロードしましょう．書くの忘れたけど，データセットMNISTでやってます.

from tensorflow.keras.datasets import mnist
import numpy as np
import pandas as pd

def load_data():
    (x, y), _ = mnist.load_data()
    mnist_df = pd.DataFrame(x.reshape(-1, 784) / 255., 
                            columns=['dim' + str(num+1) for num in range(784)])
    mnist_df['target'] = y.reshape(-1, 1)

    return mnist_df

mnist_df = load_data()

上記の関数から，データロードしたら，下図のような,データテーブルができます．

なぜラベルを引っ付けたのかというと，mnistの画像の輝度値からそのまま平均と分散を求めても, 下の画像のように雪玉画像しか生成されないためです．ですので，ラベル毎にデータを抽出して画像の生成を行おうかと思います．

ちなみに，画像かどうかを確認したい場合は，下記のおまじないを打てば確認できます．
(処理の流れ: 1.画像データのインデックス選択， 2.targetのカラムを除去， 3.numpy変換, 4.一次元データを28x28の二次元データ化)

import matplotlib.pyplot as plt
plt.imshow(mnist_df.iloc[0].drop(['target']).values.reshape(28, 28))

そして，おまじないの結果がコレ

2.1 ラベル毎に平均画像，分散画像の作成

表題の通り，ラベル毎に抽出して，平均画像と分散画像を生成してみましょう．

def img_write(name, data, norm=True):
    data *= 255 if norm else data
    data = np.array(data).astype(np.uint8)
    cv2.imwrite(name, data.reshape(28,28))

def mnist_static_by_target_cat(df, column='target', norm=True):
    for i, cat in enumerate(df[column].unique()):
        cat_df = df.groupby(column).get_group(cat)
        cat_df = cat_df.drop([column], axis=1)

        img_write('mean_' + str(i) + '.jpg', cat_df.mean(), norm)
        img_write('std_' + str(i) + '.jpg', cat_df.std(), norm)

mnist_static_by_target_cat(mnist_df)

そして，生成された画像が以下の通り．
なんかそれっぽい数字がなっているでしょう？

3. 画像変形(工事中)

時間がないので，サマリだけ・・・今週中には理論含めて綺麗に書きます．（すいません）

平均と分散を求めたので，正規分布を利用し，輝度値の変化を確率化
しかし，これだけでは太さをいじれるだけなので，画像の変形方法も考えてみる．
輝度値ヒストグラムを確認すると，輝度値のピークが2つあるピクセルがあることに気がつく
そこで，潜在変数2で混合ガウス分布関数を適用し，ピークが二つの分布に近似させた
結果として，より綺麗な画像が生成できるようになった．また，潜在変数の値を変化させると，画像を回転させられる．

以下，出力画像

平均と分散より求めた正規分布の確率を利用した画像
(左から， $P(輝度値)=[0.9, 0.99]$ 確率を0.9ずつ変化させた場合の画像の変化)
GMMを用いた潜在変数ごとの平均画像の変化
(また，混合ガウス分布は潜在変数ごとに正規分布を用意する．そのため、上記と同様にこちらのモデルでも，輝度確率を変化させれば，形状の太さの変更が可能．）

4.終わりに

今回，ノリと勢いだけで参加したのですが，文章ってやっぱり書くの難しいですね．締め切りがあればきっと書ききれると思ったのですが，現実は厳かったのです．後輩の皆様は，僕みたいなダメ人間を反面教師にして，スケジュール組んで活動に取り組めるようになっていただければと思ったり・・・

とにかく，次の記事は噂のjogo氏らしいので，僕なんかよりも為になるかと思います．それでは！！