はじめに

私はWindows PCにOllamaを入れ、そこでQwen2.5-Coderを稼働させ、同じネットワークに繋がっているMacのVScodeのContinueからそのモデルを呼び出して使う、というのを実装しようとしていました。

現状
Macでcurl http://<windows pcのIPアドレス>:11434を実行するとOllama is runningが返っておりローカルネットワークでの接続はできている

問題

Mac側ののVScodeのContinueでconfig.json内で、呼び出したいQwen2.5-Coderの設定を記述しても認識してくれない

解決方法

そもそもContinueではconfig.jsonが使われていなかった

これが元凶です。いろんなWebページ見てもChatGPTに聞いても、./continue/config.jsonに設定を追記すると使えるようになる。と書いてあったためずっとconfig.jsonをいじってうまくいってませんでした。

歯車マークをクリックすると、config.jsonが開くため、modelsの個所に以下のように追加します。

これの通りに歯車マーククリックしてもメニューが開かれてconfig.jsonなんか開かれないし、そもそもContinueをインストールした時点でconfig.jsonファイルが存在していなかったんですよね。

なのでてっきり自分で新しくつくるものかと思って、config.jsonをつくってここに設定を書いていても一向にモデルを認識してくれず詰んでました。

Continue「yamlファイルでモデル定義するよん」

Continueのリファレンスを確認したところ、

Continue hub assistants are defined using the config.yaml specification. Assistants can be loaded from the Hub or locally

ファ！？jsonじゃなくてyaml？？？

どうやら変更されたみたい。なのでWebページに載っているconfig.jsonの情報は新しいContinueのバージョンだと通用しないというわけ。

いや、前兆はあったんですよね。モデル選択してConnect押すたびに謎のconfig.yamlファイルが開いて追記されていってたんですよね。

config.yamlファイルの書き方

ローカルのLLMを呼び出すときは、Add Chat modelは使わずに、このconfig.yamlファイルにだけ書くことで認識されるようになります。
以下のようにmodels:の中に記述します。

config.yaml

name: Local Assistant
version: 1.0.0
schema: v1
models:
  - name: Qwen2.5-Coder:32b(Windows)
    provider: ollama
    model: qwen2.5-coder:32b
    apiBase: http://<LLM稼働させているPCのIPアドレス>:11434
context:
  - provider: code
  - provider: docs
  - provider: diff
  - provider: terminal
  - provider: problems
  - provider: folder
  - provider: codebase

保存すると、変更を認識した旨の通知がきます。

ちゃんとモデルを認識してくれました！