結論
環境変数HF_TOKENにhuggingfaceのトークンをセットしてから、text-generation-webuiを起動してください。
トークンのURL： https://huggingface.co/settings/tokens
環境
| 項目 | 情報 |
|---|---|
| OS | Ubuntu 22.04 LTS server |
text-generation-webuiは、下記手順でインストール。
text-generation-webui 学習モデルダウンロード機能
text-generation-webuiには、huggingfaceから学習モデルをダウンロードする便利な機能が用意されています。
この機能ですが、設定なしだと huggingfaceにログインせず に学習モデルのダウンロードを行います。
※ 他にインストールディレクトリ配下に「download-model.py」というスクリプトがあり、こちらでも学習モデルのダウンロードが行えます。使い方については、今回は割愛します。
学習モデルによっては、モデル作成者へ情報を提供して利用規約に同意しないとダウンロードできない学習モデルがあります。そういった学習モデルをtext-generation-webuiからダウンロードするには、huggingfaceへのログイン情報を本アプリに伝える必要があります。
text-generation-webuiでは、huggingfaceへのログイン情報を環境変数から読み取るようになっています。
トークンか、ユーザ名＆パスワードのいずれかで認証を行います。どの環境変数を使えばいいかは以下のテーブルをご覧ください。
| No | 認証 | セットする環境変数 |
|---|---|---|
| 1 | トークン認証 | HF_TOKEN |
| 2 | ユーザ名＆パスワード認証 | HF_USER、HF_PASS |
なお、当方の環境では No2 のユーザ＆パスワード認証については、一度試してみたものの上手くいかなかったため、諦めてトークン認証を行うようにしました。
備考
text-generation-webuiのHPにはトークン認証の場合、どんな環境変数を使えばよいか記載がありませんでした。
そのため、本アプリのdownload-model.pyのコードからHF_TOKEN環境変数を特定しています。おそらく問題ないとは思いますが、今後、環境変数名が変わるかもしれないということを、ご留意ください。