はじめに
depth系の論文読んでるとlossのところで何かと出てくる以下の論文
[1] Z. Wang, et. al. "Image Quality Assessment: From Error Visibility to Structural Similarity". IEEE transactions on image processing. vol.13, no.4, april 2004.
のまとめ
IEEE:
https://ieeexplore.ieee.org/document/1284395
pdfも転がってるので読める
概要
２つの画像を比較する場合などに有効な指標 SSIM を提案している。
以下ではSSIMのロジックを超ざっくりまとめる
全般論
２つの画像を比較する際に、例えばRGBベースで差の絶対値を求め、それを全てのピクセルに足し合わせれば結果は出る。
しかし、例えば一方の画像は照明が強いため全般的に明るい場合、その差は大きくなるが、それは求めたい類似性を反映していない。
よって単純に輝度ベースだけではダメ。本論文ではコントラスト・ベース、及び構造ベースの比較も組み入れることで指標の精度を上げている。
${\bf x}$ ：一方の画像上の輝度値
${\bf y}$ ：他方の画像上の輝度値
$l({\bf x}, {\bf y})$ ：輝度ベースの類似性
$c({\bf x}, {\bf y})$ ：コントラストベースの類似性
$s({\bf x}, {\bf y})$ ：構造ベースの類似性
として、
S({\bf x}, {\bf y}) = f(l({\bf x}, {\bf y}), c({\bf x}, {\bf y}), s({\bf x}, {\bf y}))
と３つの類似性から総合的な類似性を求める。
輝度値ベースの類似性
$\mu_x$ ：一方の画像上の輝度値の平均値
$\mu_x$ ：他方の画像上の輝度値の平均値
として、輝度値の類似性となる指標を以下とする。
l({\bf x}, {\bf y}) = \frac{2 \mu_x \mu_y + C_1}{\mu_x^2 + \mu_y^2 + C_1} \tag{1}
C_1は小さな値。
直感的に考える。例えば
(\mu_x - \mu_y)^2 = \mu_x^2 + \mu_y^2 - 2 \mu_x \mu_y
を考えた場合、$\mu_x$ と $\mu_y$ が等しければ左辺はゼロ、また常に０以上。
なので、右辺は $ \mu_x^2 + \mu_y^2$ の部分が $2 \mu_x \mu_y$ より常に大きく、これらが一致するときにゼロ。
よって（１）式は $C_1$ を除いて考えると、[0, 1] の値域で、$\mu_x$ と $\mu_y$ が等しいときに１となる。
コントラストベースの類似性
コントラストなので、輝度値の標準偏差ベースの指標を考える。
輝度値ベースの場合と同様に、以下で２つの画像のコントラストの類似度を計算する。
c({\bf x}, {\bf y}) = \frac{2 \sigma_x \sigma_y + C_2}{\sigma_x^2 + \sigma_y^2 + C_2} \tag{2}
構造ベースの類似性
輝度値の相関係数を求め、これを構造ベースの類似性とする。
s({\bf x}, {\bf y}) = \frac{\sigma_{xy} + C_3}{\sigma_x \sigma_y + C_3}
SSIM
SSIMはこれらの積とする。
SSIM({\bf x}, {\bf y}) = [l({\bf x}, {\bf y})]^{\alpha} \cdot [c({\bf x}, {\bf y})]^{\beta} \cdot [s({\bf x}, {\bf y})]^{\gamma}
$\alpha = \beta = \gamma = 1$ 、$C_3 = C_2 /2$ とすると
SSIM({\bf x}, {\bf y}) = \frac{(2 \mu_x \mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}
とすっきりした。