1. 概要

破損した画像や欠損した画像領域を補完する技術をInpaintingという。一般的に、破損個所の周囲の情報から破損領域を予測していくが、再構成されるのは背景のみで新たなコンテンツが追加されることはない。これに対し、提案手法ではテキストと画像のマルチモーダル(Multimodal)な情報を使って欠損領域を新たなコンテンツで補完する、拡散モデル(Diffusion model)ベースの手法”Smart Brush”を提案している。

2. 新規性

従来手法ではできなかったユーザーのマスク入力に合わせたコンテンツの自動生成によるInpaintingを実現した。

3. 実現方法

テキストと生成したいコンテンツの形状をマスクで入力する。マスク画像は粒度の詳細を荒くしながら多段階の物体形状が複製される(coarse-to-fine)。マスクを埋め込む位置にノイズを付与して拡散モデル(Diffusion model)に入力し、ノイズを除去するように学習させる。推論時は未知のマスクとテキストを入力すると、対象領域に対してマスクにフィットするようにテキストで指示した物体が生成される。

4. 結果

生成結果を見てみると、背景がよく保存され、かつ前景のマスクにフィットさせるようにテキストで指示した新たな物体が生成されている。既存手法と比べても生成のクオリティが高いことがわかる。

Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_SmartBrush_Text_and_Shape_Guided_Object_Inpainting_With_Diffusion_Model_CVPR_2023_paper.pdf
last updates: July 12 2023