はじめに

faster-whisperのv1.1.0で最新モデル「large-v3-turbo」がリリースされました。
早速faster-whisperをアップデートして推論するぞ！と思いましたがCUDA周りでエラーが出てしまったためその対処の備忘録です。

CUDA：11.6
GPU：NVIDIA GeForce RTX 3090
ドライバー: 560.94

faster-whisperのアップデート

以下のようにfaster-whisperを1.1.0にアップデートしました。

pip install faster-whisper -U

依存するライブラリのav、ctranslate2も更新されたようです。

Successfully installed av-14.0.1 ctranslate2-4.5.0 faster-whisper-1.1.0

large-v3-turboが動かない、、

推論のコードを以下に変えて実行したところcuDNNプラグインが無いと怒られました。

Could not locate cudnn_ops64_9.dll. Please make sure it is in your library path!
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

【解決策】ctranslate2のダウングレード

faster-whisper-1.1.0の要件にctranslate2<5,>=4.0があり、これが悪さをしていました。
同時に更新されたctranslate2はCUDA12向けということで、CUDA11に対応するバージョンを強制的にインストールします。

pip install ctranslate2==3.24.0

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
faster-whisper 1.1.0 requires ctranslate2<5,>=4.0, but you have ctranslate2 3.24.0 which is incompatible.

インストールが終わったとき依存関係のエラーは出ましたが、CUDA 11.6で無事に推論できました！
large-v3より明らかに早く、しかも文字起こし精度が高いです！

ぜひお試しください！