環境
- Core i7 12世代
- GeForce RTX 3090Ti 24GB
Ubuntu 22.04LTS-
Dockerのコンテナ上にGPUをあててtensorflowとkerasを使用
問題
学習しようとしたら…
023-07-23 14:07:09.037140: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:219] failed to create cublas handle: the library was not initialized
2023-07-23 14:07:09.037177: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:222] Failure to initialize cublas may be due to OOM (cublas needs some free memory when you initialize it, and your deep-learning framework may have preallocated more than its fair share), or may be because this binary was not built with support for the GPU in your machine.
BLASがロードされてないよ。とかいわれてます。
メモリは十分あるのに…
解決
コンテナ上でnvidia-smiが叩けて内容もOKだったので油断してしまいましたが、仮想環境でない方でnvidia-smiを叩くと
Failed to initialize NVML: Driver/library version mismatch
となって、まさかのドライバが～ってなっていました。
こちらのありがたい記事にしたがってnvidia-smiを叩けるようにしたら、解決しました。