Swallow-MS 7Bを試す

前提

　Swallow-MS 7Bとは、Mistral社のLLMを東京工業大学が日本語特化にチューニングしたもの。
https://tokyotech-llm.github.io/swallow-mistral
https://huggingface.co/tokyotech-llm/Swallow-MS-7b-v0.1

セットアップ

　基本的にはHuggingFaceに記載されたとおりに実施すれば良いが、そのまま実施するとCPUでの動作となってしまい、非常に遅い。
　そのためセットアップは少し工夫が必要。

1. CUDA Toolkitをインストール
2. cnDNNをインストール
3. venvを作成
4. 公式requirements.txtから「torch」を除去
5. pytorch公式サイトから環境に応じたtorchをインストール
6. pip install -r requirements.txt

実行

ソースコードはサンプルのまま実行可能

必要スペック

瞬間的にVRAMを13GBくらい使うので、RTX3060だと若干苦しい？

実行結果

※warningがいっぱい出てる・・・
※プロンプトが悪いからか、内容はかなり怪しい