はじめに

前回、Text generation web UIの導入ができました。
今回は実際にモデルをダウンロードして利用していきます。

環境

OS: windows11 pro
CPU: Core(TM) i7-13700K
メモリ: DDR4 128GB
GPU:GEFORCE 4070ti
仮想化:Docker

ただしwsl2を使ってUbuntu 22.04.3 LTSにて実行します。
Text generation web UIのバージョンは1.6.1です。

どのような設定か詳しく知りたい場合は以下から。

以下を参考にモデルをダウンロードします。
手順がスクショつきなのでわかりやすくて助かります。

cyberagent/open-calm-3bをダウンロードして使ってみましたが、なんか勝手にお話されて困る。

GPUがちゃんと使われているか気になったのでタスクマネージャを確認。
ちゃんと利用しているようで安心しました。

ダウンロードしたモデルは
\text-generation-webui-docker\config\models
の階層に配置されてました。
ここに直接置いても利用できるみたいです。

上記では最低限の

しかしていないですが、色々な設定項目があるので調査する必要がありそうです。