LM Studio をプロキシ環境下で実行する方法

結論

ブラウザや wget コマンドでモデルをダウンロードして lms import コマンドでインポートする。

LM Studio の導入

LM Studio の公式サイトからインストーラーを使用してインストール。
ここまではプロキシ環境でも問題なく実行可能。
https://lmstudio.ai/

GUI上からモデルのダウンロードを実行すると以下のようにダウンロードに失敗する。

プロキシ対応は望まれているが未対応の模様。

モデルのダウンロード

先ほどのログに出力されているモデルのURLを使用しLM Studio以外の方法でモデルを取得する。

https://huggingface.co/lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf の部分。
ブラウザのURLにコピペしてダウンロードするのが簡単。

モデルのインポート

LM Studio は lms コマンドでも操作可能だが、インストール時にはパスが通っていないため Bootstrap を実行してパスを通す。

Bootstrapの実行

# Mac / Linux:
~/.cache/lm-studio/bin/lms bootstrap

# Windows:
cmd /c %USERPROFILE%/.cache/lm-studio/bin/lms.exe bootstrap

lms コマンドの実行には LM Studio が起動している必要がある。（未起動の場合はコマンド実行時に起動しウィンドウが開く）

ダウンロードしたモデルのインポートには以下のコマンドを実行する。

モデルのインポート

lms import Downloads/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf

カテゴライズを聞かれるが一番上の Hugging Face で検索にするとまた通信エラーになってしまうため、二番目の Interactive import を選択。

作成者やモデル名を聞かれるがローカルで使用するだけなので空欄（デフォルト）のまま進める。File moved to ~ と表示されていれば成功している。

モデルの実行

GUIの「AI Chat」タブを開き「Select a model to load」をクリック。
先ほどインポートしたモデルが表示されていれば成功。

無事ローカルLLMの実行に成功。

終わりに

簡単に導入できるようにされているツールでもプロキシがあるだけで苦戦しました。。。
プロキシ環境下でローカルLLMの実行に挑戦している企業戦士の皆様のお役に立てれば幸いです。