Windows11にBunChoを入れた時のエラー

概要

Windows11にBunChoを入れた時に、「AssertionError: Torch not compiled with CUDA enabled」というエラーが出てハマったが、NVIDIAのページから「CUDA Toolkit」をダウンロードしてインストールしてから torchを入れなおした。

AI BunCho

AI BunChoはAIが物語のタイトルやプロットを提案したり、本文を生成する創作支援アプリです。

小説に特化したAIであるパラメータ60億の大規模日本語言語モデルを用いており、かなり文脈に沿った文章の生成が行えます。

本記事の元ネタ

• AI Bunchoモデルで何か物語めいたものを生成する
  https://note.com/shi3zblog/n/n0eb77bae5a8a

• Google Colab で AI BunChoで利用されているモデル japanese-novel-gpt-j-6b-v1.5 を試す
  https://note.com/npaka/n/n4bbc4a9f612e

環境

• OS：Windows 11 Pro バージョン 22H2
• グラボ：GeForce RTX 3090 (24GB積んでるので少し前に買った)
• Python: 3.11.5

ハマった所

途中で「AssertionError: Torch not compiled with CUDA enabled」
と出たので、NVIDIAのページから「CUDA Toolkit」をダウンロードしてインストールしてから torchを入れなおした。

参考：

• ryuuriの日記： VRAM8GBのRTX3080Laptop + Window11 で、今話題の RWKV(ルワクフ)を動かしてみた
  https://srad.jp/~ryuuri/journal/660962/

解消方法

CUDA12 のインストール

• https://developer.nvidia.com/cuda-toolkit から「CUDA 12」を「Download now」ボタンをクリックしてダウンロード

  • アップデートをメールで受け取るか聞かれるが、×ボタンで閉じる
  • OSはLinuxとWindowsがあるが、Windowsを選択
  • アーキテクチャはx86_64
  • バージョンは11(10, 11, Server 2019, Server 2022が選べる)
  • インストールタイプは exe(local)(3.0GB), exe(network)(29.4MB)
    • cuda_12.2.2_537.13_windows.exe というファイルがダウンロードされた。

pycuda を入れる

pip install pycuda

torchの入れ直し

torch 2.0.1 が入っていたが、入れ直す。

pip uninstall torch
pip cache purge
pip install torch -f https://download.pytorch.org/whl/torch_stable.html

(pip install torch だけだとうまくいかない)

Successfully installed torch-2.0.1+cu118

のように表示されればOK。

他のパッケージをまだ入れていない場合は入れる

上記の npaka さんの記事を見ながら、パッケージのインストール

pip install transformers sentencepiece accelerate

動作確認

上記の npaka さんの記事にあるPythonプログラムを実行して、こんな感じの文章が生成されればOK。

わたくしといふ現象は、この世界の常識から外れている。

私の環境では10秒弱で表示されました。

何度かやった結果

• わたくしといふ現象は、この世界の理から外れています。
• わたくしといふ現象は、全てその世界の知識が元になっています。
• わたくしといふ現象は、この地球に生きる人間全員の脳を支配し、その人間の記憶を改竄します。
• わたくしといふ現象は、まだ未解明なのです。その謎を解き明かすため、私はこの研究所に来ましたの」
• わたくしといふ現象は、『魔素』と呼ばれる生命エネルギーが結晶化した物から生成されるんですの」
• わたくしといふ現象は、その存在を知らされていないのですが?」
• わたくしといふ現象は、この魔法で世界を滅ぼす事が可能なのです」
• わたくしといふ現象は、この時代では珍しいものなのでしょう。
• わたくしといふ現象は、ほぼ同時に起こったのです」「つまり……。
• わたくしといふ現象は、今に始まったことではありません。そのたびに、わたくしがこうして無事でいることに感謝こそすれど、不満など抱いたことは一度たりともありませんわ」

文末にカギかっこが付く場合があるのが謎です。