论文
背景
浮遊物を含む水中画像から浮遊物のない画像を復元するため、浮遊物の存在する領域を U-Netを用いて推定し、それを元に生成したマスク画像を用いて Partial Convolutions を行うことで、浮遊物を除去する手法を提案する。
提案手法
浮遊物領域推定とImage Inpaintingの二段階の処理からなる。
第一段階:浮遊物領域推定は人工浮遊物画像とそれに対応したマスク画像を用いて訓練したU-Netで推定を行う。
第二段階：Image Inpaintingは浮遊物のない水中画像と第 一段階のマスク画像を用いて訓練したPartial Convolutionsで推定を行う。
データセット
水中画像はデータベースJ-EDI（JAMSTEC E-library of Deep-sea Images）か らダウンロードした1263枚の浮遊物がない水中画像をData Augmentationで 11367枚に増やした。
人工ノイズ作成
空の画像に対し、形状とサイズおよび実際の浮遊 物の色に近い色を 持つ、複数個のパターンをランダムに生成し、ガウシアンフィルタと平均化フィルタの両方を用いてぼかすことで浮遊物画像を生成する。生成した画像を元の画像に加えることで、人工浮遊物がある水中画像 を生成する。
結果
まとめ
実験の結果、人工浮遊物の特徴を学習することで、実 際の浮遊物も検出することができ、復元した画像では 浮遊物が良く除去されていることを確認した。