cudaデバイスを使っているモジュールA、もう一つのモジュールBがあるとき、
両方のモジュールを使おうとしたきに動かなかった。
この記事は、そのような場合の解決事例の１つである。

動作環境

問題の再現方法

TensorRTを利用しているモジュールBの関数を実行時に以下の内容のエラーを生じた。

[07/03/2024-02:17:47] [TRT] [E] 1: [resizeRunner.cpp::execute::89] Error Code 1: Cuda Runtime (invalid resource handle)

Cuda Runtime が上記のエラーを表示しても、
推論結果にはダミーの値が入っていて、
スクリプト自体は実行を継続していた。

TRT の実行時にエラーを生じていること。

GPUを利用する複数のライブラリの呼び出し
stackoverflow Adding multiple inference on TensorRT (Invalid Resource Handle Error)の以下の記述が参考になった。

実際、私の問題の生じた部分は、TRT(TensorRT)のコードの実行部分だった。

I had a similar error and that is what helped me in this case:

Remove import pycuda.autoinit and do

import pycuda.driver as cuda
...
cuda.init()
device = cuda.Device(0)
cuda_driver_context = device.make_context()

Wrap the piece of code that does inference with TensorRT like this:

cuda_driver_context.push()
# copy data to device memory, run inference, copy data from device memory
cuda_driver_context.pop()

cuda_driver_context　関わるコードに対応する変更を加えることで、
２つのモジュールを呼び出しても、推論が行われて、上記のエラーを生じなくなった。