結論
ブラウザや wget
コマンドでモデルをダウンロードして lms import
コマンドでインポートする。
LM Studio の導入
LM Studio の公式サイトからインストーラーを使用してインストール。
ここまではプロキシ環境でも問題なく実行可能。
https://lmstudio.ai/
GUI上からモデルのダウンロードを実行すると以下のようにダウンロードに失敗する。
プロキシ対応は望まれているが未対応の模様。
モデルのダウンロード
先ほどのログに出力されているモデルのURLを使用しLM Studio以外の方法でモデルを取得する。
https://huggingface.co/lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf
の部分。
ブラウザのURLにコピペしてダウンロードするのが簡単。
モデルのインポート
LM Studio は lms
コマンドでも操作可能だが、インストール時にはパスが通っていないため Bootstrap を実行してパスを通す。
# Mac / Linux:
~/.cache/lm-studio/bin/lms bootstrap
# Windows:
cmd /c %USERPROFILE%/.cache/lm-studio/bin/lms.exe bootstrap
lms
コマンドの実行には LM Studio が起動している必要がある。(未起動の場合はコマンド実行時に起動しウィンドウが開く)
ダウンロードしたモデルのインポートには以下のコマンドを実行する。
lms import Downloads/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf
カテゴライズを聞かれるが一番上の Hugging Face で検索にするとまた通信エラーになってしまうため、二番目の Interactive import を選択。
作成者やモデル名を聞かれるがローカルで使用するだけなので空欄(デフォルト)のまま進める。File moved to ~
と表示されていれば成功している。
モデルの実行
GUIの「AI Chat」タブを開き「Select a model to load」をクリック。
先ほどインポートしたモデルが表示されていれば成功。
終わりに
簡単に導入できるようにされているツールでもプロキシがあるだけで苦戦しました。。。
プロキシ環境下でローカルLLMの実行に挑戦している企業戦士の皆様のお役に立てれば幸いです。