タイトル通り、ローカルLLMをどうやってVS Codeで使うんだ？という試みです。
いろいろ調べたところ、VS Codeの拡張機能であるContinueを使えばよいことは分かったものの、どうやら最近設定方法がJSONファイルからYamlファイルに変わったようで、すごく苦労しました。
自分用のメモと同じく戸惑った方のために書き留めます。
めちゃくちゃ初心者の記事なのでご勘弁を。
LM Studioを導入
こちらも参考になる記事はすでにたくさんありますが。本体はこちらからダウンロードします。
モデルをダウンロードする
起動ができたら画面左端のロボットアイコンをクリックします。
いろいろなモデルが一覧表示されるので、選択して「Download」をクリックするだけです。
ローカルLLMなので、欲張って大きなモデルを使うと重すぎます。
あらかじめChat-GPTやCopilotなどで自分のPCの型番などを伝えて、どのモデルが適切か相談しておくとよいでしょう。
モデルを選んでサーバ起動する
今度は画面左端の上から２つ目（ターミナルのようなアイコン）をクリックして、先ほどダウンロードしたモデルのうちどれを使うかを選択します。
画面右上の「+ Load Model」をクリックします。ダウンロード済みのモデル一覧が現れるので、一つ選択します。
モデルのロードができたら、画面上部の「Status」と表示があるトグルをONにします。ステータスはRunningになって、127.0.0.1:1234 というローカルエンドポイントが表示されるのでコピーします。
VS CodeにContinueをインストールする
こんどはVisual Studio Codeに拡張機能 Continueをインストールします。
初期状態では選択できるモデルがありません。
実はここで苦労しました。 +Add Chat model をクリックすると下のような画面に。
今回はローカルLLMをつかうので、一番下のほうにある「This will update your config file」という部分の小さいリンクをクリックします。
すると、config.yaml ファイルが開きます。
この部分、ちょっと前まで設定ファイルがJSONだったようです。
name: Local LM Studio Config
version: 1.0.0
schema: v1
models:
- name: LM Studio Fast
provider: lmstudio
model: autodetect # ✅ LM Studio側でロード中のモデルを自動認識
apiBase: http://localhost:1234/v1
roles:
- chat
- edit
- summarize
completionOptions:
temperature: 0.2
maxTokens: 512
tabAutocompleteModel:
title: LM Studio Autocomplete
provider: lmstudio
model: autodetect
設定ファイルをリロードします。
設定ファイルのモデルに記載した
動作テスト
チャットに挨拶をしてみて、お返事がもらえたら接続成功です！もちろんローカルLLMなので、WiFiをOFFにしても動作します。ここがポイントです。
Ctrl + Nで新しいファイルを開いて、Ctrl + Iを押すとGenerate codeモードになります。
オフラインでこんなふざけた依頼をすると、それっぽい文章が出てきます。各項目についてAccept/Regect を求めてきます。 繰り返しますが、ネットつながってません！
考えている間、LM Studio のログ画面には経過が記録されています。画面中央少し上のほうに「READY」と表示されていますが、文章を書いている間はここに利用したトークン数が表示されていました。
LM Studioをコマンドから操作する
LM Studio には、lms というツールが用意されています。
Power ShellやVS Codeのターミナルから lmsとだけ入力すると使えるコマンドが出てきます。
lms
モデルのロード状態確認
ダウンロード済みで利用できるモデルの一覧が表示されます。ロード済みのモデルはLOADEDと表示されています。
lms ls
ロード状態からモデルを開放する
現在使えるモデルをunloadするには以下のコマンドです。実行したあとに lms ls を実行してみると、先ほど緑色で表示されていたLOADEDが消えています。あら簡単！
lms unload
サーバ停止
lms server と入力してみると、利用できるオプションが表示されます。止める、動かす。状態確認。とっても明確ですね。
停止させてみましょう
lms server stop
はい、止まった！
モデルをロードして、サーバ動かす
今度はコマンドだけで動かしてみましょう。GUIのLM Studioは停止させます。
モデルのロード
書きを実行すると、なんとダウンロード済みのモデルが上下ボタンで選択できます。
lms load
モデルを選択したあと、lms ls を実行するとLOADED表示がついていることがわかります。
サーバ状態の確認
サーバの起動状態を確認してみます。まだ動作していません。
lms server status
サーバをスタートさせます。
lms server start
VS Code の Continueで動作確認します。
留守ですか？と聞いたら留守ですよ！と応えるような・・・。
感想
Continueの設定に戸惑った以外はとてもいい感じに動作しました。
選択するモデルによってはとても重くなります。LM StudioはGUIで気軽にモデルを選択して試せるのでこの点がよいですね。
lmsコマンドは何をしたらよいかがとても分かりやすい作りで親切なのが印象的でした。