ローカル LLM でエディターを使いたい
こちらの記事でローカル LLM をインストールしたので、今度はエディターで使ってみます。
2パターン試します。どちらもほとんど作業はないといっても良いです。
- Visual Stusio Code + Continue
- Zed
念のため、Ollamaで確認
エディター側の設定に入る前に、ローカルLLM(Ollama)が正常に起動しており、バックグラウンドでAPIを受け付ける状態になっているか確認します。
ターミナルを開き、以下のコマンドを実行してみましょう。
ollama list
何かしらモデルが入っていればOKです。
また、Ollamaはデフォルトで http://localhost:11434 でAPIサーバーを起動します。ブラウザや curl でアクセスして Ollama is running と表示されることを確認しておきましょう。
1. VSCode + Continune
Continue とは?
Continue は、VS Code や JetBrains などのエディターに AI アシスタント機能を統合できる、オープンソースの拡張機能です。
VSCode で拡張機能のインストール
VSCode の拡張機能からインストールします。
モデルの選択
続いて、アクティビティバーから Continue を選び、Select model→Add Chat modelからモデルを選びます。
Provider を選べばあとはAutodetectでローカルのモデルを探してくれます。
この実行結果はconfig.yamlに反映されます。
name: Main Config
version: 1.0.0
schema: v1
models:
- name: Autodetect
provider: ollama
model: AUTODETECT
- name: Autodetect (1)
provider: ollama
model: AUTODETECT
なので、config.yamlを直接編集してもOKです。
チャット用モデルと、コード補完用モデルを別々に指定することなども可能です。
2. Zed
Zed のインストール
こちらからインストールします。
初期設定はお好みで。
モデルの選択
Agent PanelからConfigureでモデルを設定します。
Provider でOllamaを選んで接続します。
ローカル LLM の llama3.1 が選べるようになりました。これだけです。
もちろんsetting.jsonから設定することも可能です。
"agent": {
"default_model": {
"provider": "ollama",
"model": "llama3.1:latest",
"enable_thinking": false
},
"favorite_models": [],
"model_parameters": []
}
よりセキュリティを強化するなら
以下のことがあげられます。
-
ソフトウェア型サプライチェーン攻撃:モデルやライブラリをロードした時に悪意のあるコードを実行されるようなケース。safetensorを優先するなど
-
実行環境のサンドボックス化:ローカル環境でパッケージの書き換えやファイルの破壊などがあるので環境を隔離する
-
間接的なプロンプトインジェクション:外部データの読み込み時に隠れた命令が仕込まれるケース。学生が AI で宿題の回答をする防ぐために、大学教授が課題に白文字で AI への指示を書いていた、という事例を思い出します









