はじめに
前回、Text generation web UIの導入ができました。
今回は実際にモデルをダウンロードして利用していきます。
環境
OS: windows11 pro
CPU: Core(TM) i7-13700K
メモリ: DDR4 128GB
GPU:GEFORCE 4070ti
仮想化:Docker
ただしwsl2を使ってUbuntu 22.04.3 LTSにて実行します。
Text generation web UIのバージョンは1.6.1です。
どのような設定か詳しく知りたい場合は以下から。
モデルのダウンロード
以下を参考にモデルをダウンロードします。
手順がスクショつきなのでわかりやすくて助かります。
cyberagent/open-calm-3bをダウンロードして使ってみましたが、なんか勝手にお話されて困る。
GPUがちゃんと使われているか気になったのでタスクマネージャを確認。
ちゃんと利用しているようで安心しました。
ダウンロードしたモデルは
\text-generation-webui-docker\config\models
の階層に配置されてました。
ここに直接置いても利用できるみたいです。
あとがき
上記では最低限の
- モデルをダウンロードする
- ダウンロードしたモデルで会話する
しかしていないですが、色々な設定項目があるので調査する必要がありそうです。