環境

Core i7 12世代
GeForce RTX 3090Ti 24GB
Ubuntu 22.04LTS
Dockerのコンテナ上にGPUをあててtensorflowとkerasを使用

問題

学習しようとしたら…

023-07-23 14:07:09.037140: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:219] failed to create cublas handle: the library was not initialized
2023-07-23 14:07:09.037177: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:222] Failure to initialize cublas may be due to OOM (cublas needs some free memory when you initialize it, and your deep-learning framework may have preallocated more than its fair share), or may be because this binary was not built with support for the GPU in your machine.

BLASがロードされてないよ。とかいわれてます。
メモリは十分あるのに…

解決

コンテナ上でnvidia-smiが叩けて内容もOKだったので油断してしまいましたが、仮想環境でない方でnvidia-smiを叩くと

Failed to initialize NVML: Driver/library version mismatch

となって、まさかのドライバが～ってなっていました。

こちらのありがたい記事にしたがってnvidia-smiを叩けるようにしたら、解決しました。