はじめに

StyleGAN2での品質評価（Metrics)は、モデルの学習には関与せず、論文上で提示された各アイデアの有効性を定量的に検証するために使われています。
以下のMetricsが用意されており、論文の論調としては「PPL」が他の評価より優れているとしています。

is50K: Inception Score
fid50K: Fréchet Inception Distance
ppl: Perceptual Path Length
オプションにより ppl_zfull, ppl_wfull, ppl_zend, ppl_wend, ppl2_wend に細分化
Is: Linear Separability
pr50k3: Precision & Recall

上記のうちStyleGAN2の学習コードではデフォルトで fid50K のみが使用されます。

GitHubにあるオリジナルのコードは以下になります。
https://github.com/NVlabs/stylegan2/tree/bf0fe0baba9fc7039eae0cac575c1778be1ce3e3/metrics

以下に順番に説明します。

is50k: Inception Score

目標
- 生成された画像１枚１枚が意味のある内容であって欲しい
- 様々な入力単数から生成された画像群は、様々な内容を含んで欲しい
画像分類に用いられるInceptionモデルを用いて、Generatorの出力画像xを評価
　　　　（この時5万枚の出力画像で評価するので名称に50kとついている）
画像の分布に対する以下の式を指標として用いる

\begin{align}
&exp(\mathbb{E}_x \hspace{1mm}KL\hspace{1mm}(p(y \mid x) \parallel p(y)\hspace{1mm})) \\
\\
&ここで、 \\
&KL: KLダイバージェンス、確率分布間が離れているほど大きい \\
&p(y \mid x): 生成された画像1枚に対する識別結果の確率分布 \rightarrow １つのラベルに対応する確率が高いのが良い \\
&p(y): 様々な画像を識別機に入れた結果の平均 \rightarrow 様々なラベルに対する出力が均等になるのが良い
\end{align}

StyleGAN２での実装概要 (metrics/inception_score.py)
- Generator(Gs)にランダムな潜在変数を与えて画像を50K枚生成
- inception V3 modelで評価、画像ごとに1000クラスの確率 -> activations
- 全画像（ただし分割している）のactivationsの平均と、各画像のactivationsのKLダイバージェンスを計算する

[参考]
Improved Techniques for Training GANs

fid50k: Fréchet Inception Distance

Inception Scoreの改良版
Inception Scoreでは、リアル画像に対するInceptionモデルの挙動が使われていなかった
目標
- リアル画像セットと生成(Fake)画像セットの分布が集合として類似してほしい
画像特徴量抽出にInceptionモデルを使用（分類結果ではなく最終のAverage Pooling後の2048次元）
リアル画像から抽出された特徴量の分布をガウス分布で近似 m_w、C_w(平均、分散）
Generatorでランダムに生成した画像から抽出された特徴量も同様 m、C
ガウス分布の類似度を測るFréchet distanceに代入

d^2 ((m, C), (m_w, C_w)) = \parallel m - m_w \parallel_2^2 + T_r(C + C_w -2(CC_w)^{\frac{1}{2}} )

SytleGAN2での実装(metrics/frechet_inception_distance.py)
- 学習済みinception V3 model(特徴抽出器）をロード
- データセットのリアル画像をinception modelに与えて、特徴量を取得
- データセット全体に対して計算した結果から、平均(np.mean)・共分散行列(np.cov(対角ではなくフルランク））を計算 $\Rightarrow$ mu_real、sigma_real
- Generator(Gs)を用いて同様にランダムな潜在ベクトル・ラベルから画像を生成、平均・共分散行列を計算 $\Rightarrow$ mu_fake, sigma_fake
- 上記数式に従ってFIDを計算

[参考]
GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium
The Fréchet distance between multivariate normal distributions
フレシェ開始距離（FID）を使用してGANの品質を評価する方法は？

PPL: Perceptual Path length

目標
- 潜在空間 $\to$ 画像の対応関係の滑らかさを測定する
StyleGAN2では、「潜在空間 $\to$ 画像の対応関係の滑らかさとして提案されたPPLが画像の品質自体を評価するのに有効だった
潜在変数 z から生成した画像と、 z + ε から生成した画像の距離を測定
- 距離：２枚の画像から計算したVGG16の特徴量間の距離であり、人間が画像を見た時の違いに近づくような重みづけが事前に学習されたモデルを用いる
様々な z で計算した結果の平均を評価値として出力（小さい方が良い）
z の代わりに w(mapping networkで出力された潜在変数）空間で微小変化させるパターンもある
SytleGAN2での実装(metrics/perceptual_path_length.py)
- 微小変化させる区間を計算
  - 正規乱数lat_t01 で線分の始点と終点を定める
  - 0 〜 1 の乱数 lerp_t でその中の内分位置を定める
  - 線分を lerp_t および lerp_t + epsilon　で内分してGeneratorの入力にする
- 画像を生成(Gs_clone.components.syntheis.get_output_for)
- 中央クロップ・縮小などの前処理
- 画像間の距離計算モデル「vgg16_zhang_perceptuak.pkl」を用いて２枚の画像間の距離を計算 $\to$ distance_expr
- 5万枚で計算した距離を all_distance に代入
- 外れ値を除去： 1% 〜 99%の範囲だけを抽出
- all_distancesを平均を PPL と出力

[参考]
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric

Is: Linear Separability

pr50k3: Precision & Recall

[参考]
Assessing Generative Models via Precision and Recall
Improved Precision and Recall Metric for Assessing Generative Models

おわりに

本稿では、GANで生成された画像の品質評価についてStyleGAN2での実装をベースに説明しました。
StyleGAN2の実装についても別途整理して掲載する予定です。