Mask R-CNN
Object instance segmentationのための手法を提案する.
このタスクでは,object detectionを行った際に,bboxを作成するのではなくそのobjectのsegmentionを与える.
提案手法では,従来のFaster R-CNNを拡張し,従来のbbox推論に並行する形でsegmentationを行うブランチを追加する.
この手法は計算コストを上げる事なく高速に動かす事が可能である.
またhuman pose estimationなどのタスクへ簡単に拡張可能である.
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
Conditional GANを用いたsemantic segmentation labelからrealistic imageを生成する手法を提案する.
従来のconditional GANは低解像度の画像に対する適用に限られたが,本論では各層の特徴マッチングを考慮に入れた新たなadversarial loss,またマルチスケールのgeneratorとdiscriminatorを導入する事で高解像度でかつrealisticな画像生成を可能にした.
またこのフレームワークを拡張する事でインタラクティブな画像編集も可能にした.
この編集の実現にあたってはobject instance segmentationの情報を用いる事でそのobjectに対する編集や除去を可能にした.
また同じ入力に対して多様の出力を可能にした事で,各物体のappearanceをインタラクティブに変更可能にした.
Predicting Deeper into the Future of Semantic Segmentation
未来予測のアルゴリズムは,realtime systemの制御などにおいて特に大事である.
従来は未来時点での各ピクセルのrgb情報を予測してきたが,
本論ではsemantic segmentationの予測を行う.
つまり,semantic label付きのvideo sequenceが与えられた時に、未来のsemantic labelを予測する.
本論ではautoregressiveなCNNを提案し,逐次的に未来の予測を行う.
従来のRGB値を予測してからそのセグメンテーションを予測する場合に比べて本手法は
有意に高い性能を得た.