SSIMがウソをつく例

画像の視覚的な差分量を計算する手段としてSSIMはとても重宝していますが、視覚的な差違と乖離するケースを見つけたので紹介します。

元画像

横幅1920pxの淡いグラデーションのPNG画像です。ユニークな色数は81,121です。

この画像を二種類の方法でPNG8(256色)に減色します。

変換A: pngquantで変換

Lossy PNGで精度に定評のあるpngquantでPNG8に変換すると以下の通りです。

さすがpngquant。ぱっと見わからないディザリングで256色に減色されています。

変換B: ImageMagickで無造作に変換

convertコマンドで以下のように無造作にPNG8に変換します。

$ convert origina.png png8:8bit.png

見た目の質という点では残念な結果です。

SSIMを比較

SSIM値を比べてみると、意外な結果が出ました。意外すぎていくつかのツールで算出してみました。

変換	エンコーダ	元画像	変換画像	ImageMagick	ffmpeg	pyssim	NPM img-ssim
A	pnqguant			0.716548	0.711903	0.8328862	0.8049537035007859
B	ImageMagick			0.959803	0.950992	0.970968	0.9684693612331049

SSIMはよく「0.95以上で元画像と区別が付きにくい」と言われます。まさかの「B画像の方が似ていて、更に見分けが付きにくい水準」という結果になりました。

PSNRはどうか

試しに元画像との差をPSNRを求めてみました。PSNRは数値が大きいほど類似している指標です。

この画像の場合は、SSIMより視覚的な違いを言い当てています。

変換	エンコーダ	元画像	変換後	ImageMagick	ffmpeg
A	pnqguant			32.613	32.552913
B	ImageMagick			25.8592	25.863008

考察

特徴量は統計的な数値であり、当然ながら万能ではなく向き不向きがあります。

SSIMは輝度・コントラスト・構造を元に類似度を数値化するということで、色相は軽視されているのかもしれません。

変換BのSSIM値が絶対的に高かったのは、輝度やコントラストには色相ほどの変化がなかったのではないかと推測します。

もうひとつ、変換AのSSIM値が相対的に低い数値となったのは、ディザリングの処理が逆に周囲のピクゼルとの輝度やコントラストを大きく変化させたからと推測します。

ディザリングは限られた色数を巧妙に、言わばノイズ状に配置して遠目の近似色を表現する手法なので、SSIMからするとノイズが増えたように見えるということではないでしょうか。

2018/10/5 追記と考察その2

こちらの記事で取り上げていただきました。

ディザリングは限られた色数の空間的な分布で中間色を表現する印刷的な手法なので、画素として見るとノイズの増加に他ならないのかなぁと思いました。

では色の三原色ということでCMYKに変換してSSIMを計算したらどうなるだろう？と思って試してみました。

pngquant

$ compare -metric SSIM -colorspace CMYK -verbose samples/c.png pngquant/c.png NULL:
samples/c.png PNG 1920x1570 1920x1570+0+0 8-bit sRGB 791793B 0.100u 0:00.099
pngquant/c.png PNG 1920x1570 1920x1570+0+0 8-bit sRGB 256c 741833B 0.080u 0:00.079
Image: samples/c.png
  Channel distortion: SSIM
    cyan: 0.737768
    magenta: 0.702178
    yellow: 0.691701
    black: 0.731921
    all: 0.715892
samples/c.png=> PNG 1920x1570 1920x1570+0+0 8-bit CMYK 6.750u 0:06.750

ImageMagick

$ compare -metric SSIM -colorspace CMYK -verbose samples/c.png png8/c.png NULL:
samples/c.png PNG 1920x1570 1920x1570+0+0 8-bit sRGB 791793B 0.110u 0:00.120
png8/c.png PNG 1920x1570 1920x1570+0+0 8-bit sRGB 121c 58251B 0.060u 0:00.059
Image: samples/c.png
  Channel distortion: SSIM
    cyan: 0.836699
    magenta: 0.816028
    yellow: 0.866341
    black: 0.509111
    all: 0.757045
samples/c.png=> PNG 1920x1570 1920x1570+0+0 8-bit CMYK 6.980u 0:07.069

全体としてはディザリングの方が低評価ですが、blackのSSIMはなんだかしっくり来る感じです。偶然かもしれませんが。