1. 概要
入力画像を適切にクロッピングして画像の美観を整える技術はよく用いられるが、画像の境界付近の冗長なコンテンスを削除する際に範囲に制限があった。また、別の従来手法では画像を外挿して拡張し、美観のよい位置でクロップする手法が主流だったが、拡張された部分が不自然なため画像のクオリティが下がるという問題があった。
この論文では、ユーザーがカメラを構えてシャッターを切った瞬間にフレームの外側の情報も一緒に保持しておき、最も美観のよい位置を探してユーザーにカメラをどの位置に向けるとよいか提示するシステムを提案している。
2. 新規性
カメラのファインダーから見える景色の中で、どちら方向にカメラを向けるとよい美観の写真が取れるか、ユーザーに提示するシステムを提案している。カメラを移動後にどんな写真が取れるかも合わせて予測している。
3. 実現方法
あるシーンの画像とその周辺領域を含む画像に対して、CNNで特徴を取得する。周辺情報を含む画像特徴は、クロップ領域とその周辺領域に特徴を分けることができる。クロップ領域の特徴に対してどの位置でクロッピングするとよいか計算させる際に、周辺領域の特徴量も考慮することで、デコード時にシームレスな外挿が実現できる。このとき、オリジナル画像に対して、カメラをどの方向に動かしたか、またズームイン・アウトなどの操作も併せて求められるため、推論時は美観のよい写真を撮れる位置にユーザーを誘導することができる。
4. 結果
従来手法と比べて外挿が自然で、かつ美観の整った写真を撮ることができている。
last updates: Nov 24 2023