・カーネル内のループは時間が掛かる
　　フィルタ処理を行う場合、CUDAカーネル内で、フィルタ係数を二重ループで走査する。
　　このとき、フィルタサイズが大きいと、許容できないほどの処理時間を要してしまう。
　　例えば、1920x1080の画像に65x65の線形フィルタ（もしくはerodeフィルタ）を適用
　　したときの処理時間は、約150ミリ秒であった。

・高速フーリエ変換を積極的に活用すべき
　　そこで、線形フィルタを、周波数空間で適用するようにしたら、処理時間が約150ミリ秒から
　　約4ミリ秒に改善した。なお、高速フーリエ変換は、1920x1080の画像で約1.5ミリ秒だった。
　　また、周波数空間における画素ごとの乗算は約1ミリ秒だった。
　　すなわち、フィルタサイズがいくら大きくても、計算時間は一定である。
　　知っている人には当たり前かもしれないが、高速フーリエ変換を使わない手はない。

・関係無い画素はスキップすべき
　　また、erodeフィルタなど、フィルタ係数が1になっている領域の最大値（や最小値）を
　　求める処理では、フィルタ係数が0になっている領域を走査しないようにした。具体的には、
　　フィルタ係数が1になっている場所の座標を配列に格納し、CUDAカーネル内では、
　　配列に格納されている座標の画素だけを走査するようにした。その結果、処理時間が
　　約1ミリ秒に改善した。(※ただし、フィルタ係数は非常にスパースで、99%以上が0)

なお、上記方法で実装したコードについては以下の記事で紹介
https://qiita.com/rueiwoqpqpwoeiru/items/69a931e4042a4f9d4434

（追記）
二値画像に対するモルフォロジー処理は、高速フーリエ変換を用いることで高速化できる。
dilateの場合、fftによる畳み込みを行い、閾値処理で二値化する。
erodeの場合、0-1を反転してから、fftによる畳み込みを行い、
閾値処理で二値化した後、0-1を反転する。