HalideにおけるバッファHalide::Buffer<T>の操作（HalideとOpenCVの相互変換）

はじめに

Halideに関するリンクは以下の記事にまとめてあります．
Halideによる画像処理まとめ

メンバ変数へのアクセス

画像サイズやチャネル数，先頭ポインタの取得などのネイティブなC/C++コードとデータをやり取りするために必要なメンバ変数の情報取得は以下通り．

//Halideのデータ生成用テスト
Func grad;
grad(x, y, c) = cast<uint8_t>((x + y) % 256);
Halide::Buffer<uint8_t> output = realize(256,256);
//ここまで

output.width();//横サイズ
output.height();//縦サイズ
output.channels()//チャネル数
output.dimensions()//次元数，テストしたところチャネル数と一緒だと思う．
output2.size_in_bytes()//バイト数（縦ｘ横ｘチャネルｘsizeof(T)）．

uchar* data = output2.begin();//RAWデータの先頭ポインタ
uchar* data = output2.data();//RAWデータの先頭ポインタ．テストしたところ上と同じ．
uchar* data = output2.end();//RAWデータの最後尾のポインタ

その他参考ページ

• より詳細な情報は，Halide.hに書いてます（少し読みにくいです）．
• その他の初期化はこのstackoverflowのやり取りを参照．
• OpenCVでHalideを使ってDNNを高速化したmoduleのコード

色々な初期化とデータのやり取り

Halide::Buffer<uint8_t>の代表的な初期化の方法は以下の通り

• 確保だけ
  Buffer<uint8_t> input(width, height, channel);
• 計算時に確保
  Buffer<uint8_t> output = grad.realize(width, height, channel);
• 先頭ポインタを指定(uchar* dataが先頭ポインタ)
  Buffer<uint8_t> input(data, width, height, channel);

以下，OpenCVとHalideのデータをやり取りするためのサンプルコード．
Halide処理中で余計なメモリ確保をしないようにするにはTest3とTest5の形になる．
Test6は，ループでコピーしているが，Halideが効率的なコンパイルをしてくれるわけではないので遅い．

void halideInitTest1(Mat& dest)
{
	Var x, y, c;
	Func grad;
	grad(x, y, c) = cast<uint8_t>((x + y) % 256);

	Halide::Buffer<uint8_t> output = grad.realize(dest.cols, dest.rows, dest.channels());

	uchar* data = output.data();
	//uchar* data = output.begin();//こっちでも同じ

	memcpy(dest.data, data, output.size_in_bytes());
	//memcpy(dest.data, data, output.width()*output.height()*output.channels());//こっちでも同じ
	//memcpy(dest.data, data, output.width()*output.height()*output.dimensions());//こっちでも同じ
}

void halideInitTest2(Mat& dest)
{
	Var x, y, c;
	Func grad;
	grad(x, y, c) = cast<uint8_t>((x + y) % 256);
	Halide::Buffer<uint8_t> output(dest.cols, dest.rows, dest.channels());

	grad.realize(output);

	uchar* data = output.data();
	memcpy(dest.data, data, output.size_in_bytes());
}

void halideInitTest3(Mat& dest)
{
	Var x, y, c;
	Func grad;
	grad(x, y, c) = cast<uint8_t>((x + y) % 256);
	//dest.ptr<uchar>(0)はOpenCVの画像データの先頭ポインタ
	Halide::Buffer<uint8_t> output(dest.ptr<uchar>(0), dest.cols, dest.rows, dest.channels());

	grad.realize(output);
}

void halideInitTest4(Mat& src, Mat& dest)
{
	Var x, y, c;
	Halide::Buffer<uint8_t> input(src.ptr<uchar>(0), src.cols, src.rows, src.channels());
	Func adder;
	adder(x, y, c) = cast<uint8_t>(min((cast<int16_t>(input(x, y, c)) + (short)50), 255));

	Halide::Buffer<uint8_t> output = adder.realize(dest.cols, dest.rows, dest.channels());

	uchar* data = output.data();
	memcpy(dest.data, data, output.size_in_bytes());
}

void halideInitTest5(Mat& src, Mat& dest)
{
	Var x, y, c;
	Halide::Buffer<uint8_t> input(src.ptr<uchar>(0), src.cols, src.rows, src.channels());
	Halide::Buffer<uint8_t> output(dest.ptr<uchar>(0), dest.cols, dest.rows, dest.channels());
	Func adder;
	adder(x, y, c) = cast<uint8_t>(min((cast<int16_t>(input(x, y, c)) + (short)50), 255));

	adder.realize(output);
}

void halideInitTest6(Mat& src, Mat& dest)
{
	Var x, y, c;
	Halide::Buffer<uint8_t> input(src.cols, src.rows, src.channels());
	Halide::Buffer<uint8_t> output(dest.cols, dest.rows, dest.channels());
	//srcからコピー
	for (int j = 0; j < src.rows; j++)
	{
		for (int i = 0; i < src.cols; i++)
		{
			for (int n = 0; n < src.channels(); n++)
			{
				input(i, j, n) = src.at<uchar>(j, i*src.channels() + n);
			}
		}
	}

	Func adder;
	adder(x, y, c) = cast<uint8_t>(min((cast<int16_t>(input(x, y, c)) + (short)50), 255));

	adder.realize(output);

	//destへコピー
	for (int j = 0; j < dest.rows; j++)
	{
		for (int i = 0; i < dest.cols; i++)
		{
			for (int n = 0; n < dest.channels(); n++)
			{
				dest.at<uchar>(j, i*dest.channels() + n) = (uchar)output(i, j, n);
			}
		}
	}
}

int main(int argc, char **argv)
{
	Mat src = imread("lenna.png");
	Mat dest = Mat::zeros(src.size(), src.type());

	halideInitTest1(dest);//realizeでデータサイズを指定
	imshow("Halide1", dest);

	halideInitTest2(dest);//事前にbufferのサイズを指定
	imshow("Halide2", dest);

	halideInitTest3(dest);//事前にbufferのサイズと先頭ポインタを指定．メモリ確保の無駄が無い
	imshow("Halide3", dest);

	halideInitTest4(src, dest);//OpenCVのMat中のRAW先頭ポインタを使って初期化して計算結果をmemcpyで返す
	imshow("Halide4", dest);

	halideInitTest5(src, dest);//上記に加えて，計算結果のバッファも初期化で指定
	imshow("Halide5", dest);

	halideInitTest6(src, dest);//何をやっているか直感的にわかるが遅くなる例
	imshow("Halide6", dest);

	waitKey();
	return 0;
}