1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

結論

ブラウザや wget コマンドでモデルをダウンロードして lms import コマンドでインポートする。

LM Studio の導入

LM Studio の公式サイトからインストーラーを使用してインストール。
ここまではプロキシ環境でも問題なく実行可能。
https://lmstudio.ai/

image.png

GUI上からモデルのダウンロードを実行すると以下のようにダウンロードに失敗する。

image.png

プロキシ対応は望まれているが未対応の模様。

モデルのダウンロード

先ほどのログに出力されているモデルのURLを使用しLM Studio以外の方法でモデルを取得する。

https://huggingface.co/lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf の部分。
ブラウザのURLにコピペしてダウンロードするのが簡単。

image.png

モデルのインポート

LM Studio は lms コマンドでも操作可能だが、インストール時にはパスが通っていないため Bootstrap を実行してパスを通す。

Bootstrapの実行
# Mac / Linux:
~/.cache/lm-studio/bin/lms bootstrap

# Windows:
cmd /c %USERPROFILE%/.cache/lm-studio/bin/lms.exe bootstrap

lms コマンドの実行には LM Studio が起動している必要がある。(未起動の場合はコマンド実行時に起動しウィンドウが開く)

ダウンロードしたモデルのインポートには以下のコマンドを実行する。

モデルのインポート
lms import Downloads/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf

カテゴライズを聞かれるが一番上の Hugging Face で検索にするとまた通信エラーになってしまうため、二番目の Interactive import を選択。
image.png

作成者やモデル名を聞かれるがローカルで使用するだけなので空欄(デフォルト)のまま進める。File moved to ~ と表示されていれば成功している。
image.png

モデルの実行

GUIの「AI Chat」タブを開き「Select a model to load」をクリック。
先ほどインポートしたモデルが表示されていれば成功。
image.png

無事ローカルLLMの実行に成功。
image.png

終わりに

簡単に導入できるようにされているツールでもプロキシがあるだけで苦戦しました。。。
プロキシ環境下でローカルLLMの実行に挑戦している企業戦士の皆様のお役に立てれば幸いです。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?