cv::Mat の演算を高速化したいです

OpenCVで画像処理していたら、以下のような計算で時間がかかってました。RGB画像をプレーンごとに係数掛けて足しています。バイラテラルフィルタよりかなり遅い（5倍程度）のが腑に落ちない･･････。

dst_plane[0] = sc_r[0]*src_plane[0] + sc_g[0]*src_plane[1] + sc_b[0]*src_plane[2] + shift_r;
dst_plane[1] = sc_r[1]*src_plane[0] + sc_g[1]*src_plane[1] + sc_b[1]*src_plane[2] + shift_g;
dst_plane[2] = sc_r[2]*src_plane[0] + sc_g[2]*src_plane[1] + sc_b[2]*src_plane[2] + shift_b;