ComputeShader.Dispatchの真の実行タイミングはいつ？【Unity】

Last updated at 2023-12-13Posted at 2023-03-10

はじめに

ComputeShader.Dispatch命令はGPUで計算を行なうためのものです。
ComputeShader.Dispatch - Unityスクリプトリファレンス

この命令はGPU計算の完了を保証するものではありません。つまり「GPUの計算がおわる前にCPUは次の命令にうつる」となります。
ここまではまぁ知られていると思います。

普通に考えればGPUが計算している最中にCPUも計算できてラッキーとなるのですが、実はGPUで計算がはじまることも保証されてません。

結論からかくとGPUで計算ははじまらず
GLFlush();
を行なうことで即時計算がはじまります。

CPUもGPUも無駄な時間をかかえている！

1フレーム内の動きを考えます。
あるタイミングでComputeShader.Dispatchを実行します。
その後GPUで計算が走っていることを期待しCPUの重めの処理を実行し、GetDataでGPUから計算結果をとってきます。

この間、GPUもCPUも動いているので効率がいいです(と私は思っていました)。

可能な限りフレーム内の最初のほうでComputeShader.Dispatchを行ない、フレーム内の最後のほうでGetDataを行なうことでCPUとGPUをフルに活用できるのではないか、と思っていました。

しかし実際は、こんなことになっていました。↓

なんとCPUがGetDataの行に到達してやっとGPUが動き出し、GPUの計算がおわってデータがCPUに転送されてはじめてCPUは次の命令にうつれます。
CPUもGPUも無駄な時間をかかえてしまっているのです！

検証

上記結論にいたるのに以下のコードで検証しました。

DispatchTest.cs

using System;
using UnityEngine;
using System.Threading;

public class DispatchTest : MonoBehaviour
{
    const int width = 1920;
    const int height = 1080;
    //compute shader周り
    [SerializeField] ComputeShader cs;
    private ComputeBuffer computeBuffer = null;
    private int kernelHeavyFunc;
    //その他
    private int flamecnt;
    private int n;
    private int[] host;
    private int lasttime;
    private int deltatime;

    private int time12, time23, time34;
    private float avgdeltatime;

    [SerializeField] int loopnum = 600;//強いGPUならもっと増やして

    private void Awake()
    {
        Application.targetFrameRate = 60;
        flamecnt = 0;
        avgdeltatime = 0;
        lasttime = Gettime();

        n = width * height;
        computeBuffer = new ComputeBuffer(n, 4);
        host = new int[n];

        kernelHeavyFunc = cs.FindKernel("HeavyFunc");
        cs.SetInt("WX", width);
        cs.SetInt("WY", height);
        cs.SetBuffer(kernelHeavyFunc, "buffer", computeBuffer);
    }


    private void Update()
    {
        var time1 = Gettime();

        cs.SetInt("loopnum", loopnum);
        cs.Dispatch(kernelHeavyFunc, 1, height, 1);
        GL.Flush();

        var time2 = Gettime();

        Thread.Sleep(50);//50ms待つ。CPUの重い処理を想定

        var time3 = Gettime();

        computeBuffer.GetData(host, 0, 0, 4);//GPUの計算が終わっていれば一瞬のはず

        var time4 = Gettime();

        time12 = time2 - time1;
        time23 = time3 - time2;
        time34 = time4 - time3;


        deltatime = time3 - lasttime;
        lasttime = time3;
        flamecnt++;
    }


    private void OnDestroy()
    {
        computeBuffer.Release();
    }

    void OnGUI()
    {
        avgdeltatime = avgdeltatime * 0.99f + 0.01f * deltatime;
        GUILayout.Label($"flamecnt:\t{flamecnt}");
        GUILayout.Label($"1フレームのtime:\t{deltatime}ms");
        GUILayout.Label($"平均FPS:\t{1000.0f / avgdeltatime}");
        GUILayout.Label($"time12:\t{time12}ms");
        GUILayout.Label($"time23:\t{time23}ms");
        GUILayout.Label($"time34:\t{time34}ms");

        // グラフィックデバイス名
        GUILayout.Label($"グラフィックデバイス名:{UnityEngine.SystemInfo.graphicsDeviceName}");
        // グラフィックスAPIタイプ（Direct3D11とか）
        var s0 = UnityEngine.SystemInfo.graphicsDeviceVersion;
        GUILayout.Label($"グラフィックスデバイスバージョン:{s0}");
        // シェーダレベル
        GUILayout.Label($"シェーダレベル:{UnityEngine.SystemInfo.graphicsShaderLevel}");
        // コンピュートシェーダが使えるか
        GUILayout.Label($"コンピュートシェーダが使えるか:{UnityEngine.SystemInfo.supportsComputeShaders}");
    }


    //現在の時刻をms単位で取得
    int Gettime()
    {
        return DateTime.Now.Millisecond + DateTime.Now.Second * 1000
            + DateTime.Now.Minute * 60 * 1000 + DateTime.Now.Hour * 60 * 60 * 1000;
    }
}

ComputeShader

HeavyComputeShader.c

#pragma kernel HeavyFunc
#define TPB 64

RWStructuredBuffer<uint> buffer;
int loopnum, WX, WY;

[numthreads(TPB, 1, 1)]
void HeavyFunc(uint2 id : SV_DispatchThreadID)
{
    float tt = 0.0;
    for (int j = 0; j < WX / TPB; j++)
    {
        for (int i = 0; i < loopnum; i++)
        {
            tt = cos(id.x + tt + 3.0 / (1.2 + sin(0.0011 / (id.x + 3.42134))));
            tt = 3.4 / sqrt((id.y + 0.123) / (tt + 2.0));
            tt = cos(tt * 1.2) * sin(0.3 + tt) + exp(2.3 * tt);
        }
        //uint outt = (uint)tt;
        buffer[(j * TPB + id.x) + id.y * WX] = tt;
    }
}

解説

Update()では各命令がどのくらいの時間を消費しているか確認しています。
Thread.Sleep(50)で50ms待っていますが、ここはゲームロジックなどCPU側の重い処理がくることを想定しています。
computeBuffer.GetDataでは4*4byteしか転送していないので命令オーバーヘッドの分しか時間を食いません。0-1ms程度の負荷と想定されます。GPUの計算が終わってなければ、それに応じてmsが伸びます。

DispatchTest.cs

        var time1 = Gettime();
        cs.Dispatch(kernelHeavyFunc, 1, height, 1);
        GL.Flush();
        var time2 = Gettime();
        Thread.Sleep(50);//50ms待つ。CPUの重い処理を想定
        var time3 = Gettime();
        computeBuffer.GetData(host, 0, 0, 4);//GPUの計算が終わっていれば一瞬のはず
        var time4 = Gettime();

このtime1～time4から命令の実行時間がわかります。

このコードではGL.Flush();がかかれていますが、ここをコメントアウトしたりして速度を測りました。
もしGPUで計算が走りながらThread.Sleep(50)が実行されていれば、GetDataの行はその分時間が短くなるはずです。
もしGPUで計算が走らずにThread.Sleep(50)が実行されていれば、GetDataの行はGPU時間のぶんだけ待たされるはずです。

結果(AMD,NVIDIA,Intelで測定)