Deep Flow試してみたよ【OpenCV3】

はじめに

OpenCV3にDeep Flow[1]というDeep Learningでオプティカルフローを推定するアルゴリズムが実装さてたので，試してみました．
このDeep Flowは，opencv_contribにしか入っていないので，使用するにはopencv_contribを含むビルドが必要です．
サクッと試してみただけなので，コード載せるだけで特にアルゴリズムの説明とかありません．

使用したデータセットは，KTH Human Action Datasetです．

ソースコード

作成したソースコードは，KTHのデータセットの一つの動画を読み込んで，Deep Flowを計算し，
フローの結果をHSV変換して表示するプログラムです．

#define USE_CUDA 0

の部分の0を1にするとCUDA使用の「Dual TV L1」という別のアルゴリズムが試せます（ちょっとCUDA使ってみたかっただけ）．

#include<iostream>
#include<vector>
//自作のOpenCVヘッダ
#include"opencv320.h"

#define USE_CUDA 0 //0:Deep Flow 1:TVL1

using namespace cv;
using namespace std;


int main() 
{
	// 動画読み込み
	cv::VideoCapture cap("person22_jogging_d3_uncomp.avi");
	if (!cap.isOpened()) { return -1; }

	//オプティカルフローの初期化
#if USE_CUDA
	cv::Ptr<cv::cuda::OpticalFlowDual_TVL1> opt = cv::cuda::OpticalFlowDual_TVL1::create();
#else
	cv::Ptr<cv::DenseOpticalFlow> opt = cv::optflow::createOptFlow_DeepFlow();
#endif

	//グレースケール変換
	cv::Mat bimg,gbimg;
	cap >> bimg;
	cv::cvtColor(bimg, gbimg, cv::COLOR_BGR2GRAY);

	//動画保存準備
	cv::Size video_size = cv::Size(bimg.cols + bimg.cols,bimg.rows);
	cv::VideoWriter writer("sample.mp4", cv::VideoWriter::fourcc('m', 'p', '4', 'v'), 25.0, video_size);

	//実行
	while (true) {
		//フレーム読み込み，グレースケール変換
		cv::Mat img,gimg;
		cap >> img;
		if (img.empty()) { break; }
		cv::cvtColor(img, gimg, cv::COLOR_BGR2GRAY);

		//フローの計算
#if USE_CUDA
		cv::cuda::GpuMat ggbimg;
		cv::cuda::GpuMat ggimg;
		ggbimg.upload(gbimg);
		ggimg.upload(gimg);

		cv::cuda::GpuMat flow;
		opt->calc(ggimg, ggbimg,flow);

		cv::Mat nflow;
		flow.download(nflow);
#else
		cv::Mat nflow;
		opt->calc(gimg, gbimg, nflow);
#endif

		//描画用の変換
		std::vector<cv::Mat> vflow;
		cv::split(nflow, vflow);

		cv::Mat magnitude, angle;
		cv::cartToPolar(vflow[0], vflow[1], magnitude, angle, true);

		cv::Mat hsvPlanes[3];
		hsvPlanes[0] = angle;
		normalize(magnitude, magnitude, 0.0, 1.0, cv::NORM_MINMAX); // 正規化
		hsvPlanes[1] = magnitude;
		hsvPlanes[2] = cv::Mat::ones(magnitude.size(), CV_32F);
		
		//HSVを合成して一枚の画像にする
		cv::Mat hsv;
		merge(hsvPlanes, 3, hsv);
		
		//HSVからBGRに変換
		cv::Mat buf,flowBgr;
		cv::cvtColor(hsv, buf, cv::COLOR_HSV2BGR);
		buf *= 255.0;
		buf.convertTo(flowBgr, CV_8UC3);

		//	2つの画像を横に並べた大きさのMat型を作成する
		Mat base = cv::Mat::zeros(video_size, CV_8UC3);
		
		//	img1を張り付ける領域をあらわすMat型を作成する
		Mat roi1(base, Rect(0, 0, img.cols, img.rows));
		//	img1をroi1にコピーする
		img.copyTo(roi1);
		//	img2を張り付ける領域をあらわすMat型を作成する
		Mat roi2(base, Rect(img.cols, 0, flowBgr.cols, flowBgr.rows));
		//	img2をroi2にコピーする
		flowBgr.copyTo(roi2);

		cv::imshow("Match", base);

		writer << base;

		if (cv::waitKey(25) == 27) { //Escで終了
			break;
		}

		gbimg = gimg;  //前フレームをコピー
	}

	return 0;
}

出力結果

フローをＨＳＶで表現していて，色がフローの方向を示し，色の彩度が移動量を示しています．

参考サイトリンク

[1]Deep Flow
[2]OpenCVでDeepFlow