论文

背景

浮遊物を含む水中画像から浮遊物のない画像を復元するため、浮遊物の存在する領域を U-Netを用いて推定し、それを元に生成したマスク画像を用いて Partial Convolutions を行うことで、浮遊物を除去する手法を提案する。

提案手法

浮遊物領域推定とImage　Inpaintingの二段階の処理からなる。
第一段階:浮遊物領域推定は人工浮遊物画像とそれに対応したマスク画像を用いて訓練したU-Netで推定を行う。
第二段階：Image　Inpaintingは浮遊物のない水中画像と第一段階のマスク画像を用いて訓練したPartial　Convolutionsで推定を行う。

データセット

水中画像はデータベースJ-EDI（JAMSTEC E-library of Deep-sea Images）からダウンロードした1263枚の浮遊物がない水中画像をData Augmentationで 11367枚に増やした。

人工ノイズ作成

空の画像に対し、形状とサイズおよび実際の浮遊物の色に近い色を持つ、複数個のパターンをランダムに生成し、ガウシアンフィルタと平均化フィルタの両方を用いてぼかすことで浮遊物画像を生成する。生成した画像を元の画像に加えることで、人工浮遊物がある水中画像を生成する。

結果

まとめ

実験の結果、人工浮遊物の特徴を学習することで、実際の浮遊物も検出することができ、復元した画像では浮遊物が良く除去されていることを確認した。