毎度、ググっても出てこない小ネタを取り扱っております。
本記事は個人的な見解であり、筆者の所属するいかなる団体にも関係ございません。

0. コーディングを楽にするローカルLLMを使いたい

あ、本当にそれだけです。
Cursor Editorも使っていますが、月額費用も掛かるし(満足していますが)、そのうちFineTuningしたモデルも作ってみたいので、ロカールLLMを使ってみたいと思っていました。

そこに、Qwen2.5 Coderが出現したので、アドベントカレンダーネタにちょっとやってみました。

2. LM Studioについて

こちらをご参照ください。
LM studio（ローカルLLM）をVScode上で利用してみた #VSCode - Qiita
https://qiita.com/QA_tonchan/items/68fe5b27ffabb42498b2

LM StudioとVSCodeを組み合わせる記事は幾つかでています。

LM Studioについての記事は以下をご参照ください。

LM Studio でローカル環境でLLMを動かす手順について #AI - Qiita
https://qiita.com/kharada_toyotec/items/d81214234bc429475789

UIがありますし、さほど問題ないかと思います。

最近、LM Studio 0.3.5になってUIが変わったのでモデルのダウンロードのスクリーンショットだけアップしておきます。

まず、LM Studioを起動して「探索(英語ではDiscover)」をクリックするとモデル検索画面が出るので、検索ボックスに「code」と入力します。

必要なモデルをクリックして、右下の「Download」をクリックします。
ダウンロードが完了したら次に行きましょう。

左下の「User」「Power User」「Developer」から「Power User」を選択すると、
「開発者」というのが左に出てきます。クリックして、「読み込むモデルを選択」をクリックします。

Qwen2.5 Coderをクリックします。

パラメーターを調整します。

ひとまずデフォルトで様子を見て、メモリー使用量を考えながらコンテキスト長とGPUオフロードを増やしていきましょう。

「モデルを読み込む」をクリックします。
GPUにモデルが読み込まれたら、「Start」をクリックします。

ポート番号は後から使うので覚えておきましょう。

「Quick start」画面

Continueで使えるAPIキーが取得できるようです。

Continueさんは以下です。
Continue
https://www.continue.dev/

「Best」画面

「Local」画面

ollamaを使ってローカルLLM APIを作るのがお薦めされています。
今回は、ollamaを使わずにLM Studioを使ってみます。
(WindowsなのでWSL2を使わずに直接API接続できるのがいいですね)

LM studio（ローカルLLM）をVScode上で利用してみた #VSCode - Qiita
https://qiita.com/QA_tonchan/items/68fe5b27ffabb42498b2

こちらの画面はどれも無視して、Claude 3.5 Sonnetをクリックして、

「Add Chat model」をクリックします。

「Provider」をクリックして「LM Studio」を選択します。

Modelは、「Autodetect」で大丈夫です。

Autodetectを選択するとLM Studioで過去にダウンロードしたモデルの一覧が表示されるようになります。

今動かしているのは、「qwen2.5-coder-32b-instruct」なのでこれを選択します。

早速使ってみます。
Spring Bootを使って、ログイン画面を作ってもらいます。Spring Securityも有効にしましょうか。

「プロンプト」：
「Spring Bootを使ったSPAアプリケーションで、ログイン画面を作ってください。Spring Scurityも使ってください。」

GPUが動いて、

コードが生成されました。

個別のコード修正も可能です。

SignUpsも追加してみます。

特定のコードを選んで、Ctrl+I

SignUpも追加されました。

動きは、モソモソっという感じですが、ローカルでちゃんと動くのがいいですね。