Pixel cherry-picking
潜在変数Zと離散なマスク画像Mの組(Z, M)で画像を表現するAutoencoderモデル。
CIFAR-10上のVAEベースでの実装(chainer v6)
https://github.com/tmagara/pixel-cherry-picking
概要
- N枚分の出力を行うAutoencoderを用意する。
- 出力をピクセルごとにcherry-pickする。
- 各ピクセル(例.32x32)についてN個の出力の中から最も損失が低くなる(入力に近い)ものを選ぶ。
- cherry-pickされた出力について損失を求める。
「2で各ピクセルにおいてどの値が選ばれたか?」の情報はN値のマスク画像として表現できる。
疑似コード
# normal autoencoder
y = self.decoder(self.encoder(x))
loss = (x - y) ** 2
loss = chainer.functions.mean(loss)
# autoencoder with pixel cherry-picking
y = self.decoder(self.encoder(x))
B, _, H, W = y.shape
y = chainer.functions.reshape(y, (B, x.shape[1], -1, H, W))
loss = (x[:, :, None] - y) ** 2
loss = chainer.functions.mean(loss, (1,))
loss = chainer.functions.min(loss, (2,))
loss = chainer.functions.mean(loss)
出力
いずれも左から入力画像、マスク画像で合成された出力画像、デコーダーからの直接の出力画像x4、マスク画像x4。
潜在変数Zが4次元:
潜在変数Zが16次元:
潜在変数Zが64次元:
見やすくするために出力値を輝度の総和でソートしたもの:
画像の一部成分（高周波数成分？）が離散なマスク画像に分離されている様子がわかる。
問題
- 画像を生成するために潜在変数Zだけではなくマスク画像Mが必要。
- 画像の特徴量が潜在変数Zだけに抽出されるわけではない。
⇒ このモデルに意味はあるか？
考察
画像xを記述するモデルとしてのデコーダーDについて考える。
$$ x = \sum_{j=1}^{N}M_j D_\theta(z) + \Delta $$
オッカムの剃刀に従えば、「よりシンプルに（=より少ない情報量で）データを記述できるモデル」が良いモデル。
- MSEによって誤差$ \Delta $ ($ \sim \mathcal{N} $)の情報量が測られる。
- VAEのKLダイバージェンス項で潜在変数Zの情報量が(間接的に)測られる。
- マスク画像Mの情報量は(最悪で)ピクセル当たりlog2(N)ビット。
- 課題: どうすればこの情報量を下げることができるのか？
次回
GANの枠組みで潜在変数Zからマスク画像Mを生成する試みについて。