0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

RTX 2070(VRAM 8GB)でローカルLLMをコーディング支援に使ってみた

0
Posted at

RTX 2070(VRAM 8GB)でローカルLLMをコーディング支援に使ってみた

はじめに

GitHub Copilotなどのクラウド型コーディングAIの利用量を抑えるため、ローカルLLMをVS Codeから使える環境を構築してみました。

今回の構成は、Ollama + Qwen3 8B + Continue です。

最初はAgent機能を使って、プロジェクト全体の調査やファイル編集まで任せることを考えていました。しかし、実際に試すとVRAM 8GBという制約が大きく、コンテキスト長との兼ね合いも難しいことが分かりました。

この記事では、構築手順に加えて、実際に動かして分かったことや制限をまとめます。

1. 検証環境

項目 環境
OS Windows 11
エディタ Visual Studio Code
GPU NVIDIA GeForce RTX 2070
VRAM 8GB
システムメモリ 32GB
LLM実行環境 Ollama
モデル Qwen3 8B(qwen3:8b)
VS Code連携 Continue

※以下の数値は、上記環境で実際に確認した結果です。モデルやOllama、Continueのバージョン、設定によって結果は変わります。

2. OllamaでQwen3 8Bを実行

まずOllamaを導入し、モデルを実行します。

ollama run qwen3:8b

単純な日本語の質問を実行した際の速度は、次のとおりでした。

  • Prompt evaluation rate:約44.92 tokens/s
  • Generation rate:約56.47 tokens/s

少なくとも短い質問への応答であれば、RTX 2070でも十分実用的な速度でした。

モデルの実行状態は、次のコマンドで確認できます。

ollama ps

3. ContinueをVS Codeに導入

VS Codeの拡張機能からContinueをインストールします。

設定ファイルは次の場所にあります。

%USERPROFILE%\.continue\config.yaml

今回使用した設定は以下です。

name: Local Ollama
version: 1.0.0
schema: v1

models:
  - name: Qwen3 8B Local
    provider: ollama
    model: qwen3:8b
    apiBase: http://localhost:11434
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 8192
      temperature: 0.2

OllamaのAPI接続先は http://localhost:11434 です。

設定を保存した後、Continueからモデルを選択して応答が返ることを確認します。

4. コンテキスト長を変えて比較

今回、特に問題になったのがコンテキスト長です。

コーディングエージェントでは、コード本文だけでなく、システムプロンプト、ツール定義、会話履歴、ツールの実行結果などもモデルに渡されます。そのため、短いファイルを1つ読み込むだけでも、コンテキストを大きく消費することがあります。

contextLength: 8192

ollama ps で確認した状態です。

NAME        SIZE     PROCESSOR    CONTEXT
qwen3:8b    6.2 GB   100% GPU     8192
  • GPUのみで動作
  • 応答速度は比較的良好
  • ContinueのAgentでは、コンテキスト上限に達することがあった

実際に、10KB程度のファイルを参照させようとした際にも、Agent側のプロンプトなどを含めて上限を超え、処理できないケースがありました。

contextLength: 16384

コンテキスト長を16384に増やした場合です。

NAME        SIZE     PROCESSOR          CONTEXT
qwen3:8b    7.8 GB   20%/80% CPU/GPU    16384
  • コンテキスト長は増加
  • GPUメモリに収まりきらず、CPUへのオフロードが発生
  • 動作はするものの、8192の場合より遅くなった

RTX 2070のVRAM 8GBでは、コンテキストを増やすとGPUだけで処理するのが難しくなりました。

比較して分かったこと

設定 実行状態 使用感
8192 100% GPU 速いがAgentでは容量不足になりやすい
16384 CPU/GPU併用 コンテキストに余裕ができるが遅い

コンテキスト長を増やせば単純に使いやすくなるわけではありません。VRAMに余裕がない環境では、処理速度とのトレードオフになります。

5. ContinueのAgentで苦戦したこと

Continueには、会話形式で質問するChatのほか、ツールを使ってファイルを調査・編集するAgentがあります。

今回はAgentに、次のような作業を依頼しました。

  • ワークスペースのフォルダ・ファイル構成を確認する
  • READMEや設定ファイルを読む
  • 主要なPythonファイルを確認する
  • プロジェクトの目的や処理の流れを整理する

しかし、期待どおりには動きませんでした。

プロジェクト全体を自動で把握できるわけではない

Chatでプロジェクトの概要を尋ねても、ワークスペースの内容を十分に参照できず、一般論で回答することがありました。

Chatに質問するだけで、プロジェクト内の全ファイルが自動的に読み込まれるわけではありません。ファイルを参照する仕組みや、Agentのツールが適切に利用できる状態になっている必要があります。

Agentではコンテキスト不足が発生

8192では、ファイルを読み込もうとした段階で次のエラーが発生しました。

Message exceeds context limit

16384に増やすと処理できる場面は増えましたが、CPUオフロードによって速度が落ちます。

この環境では、Agentにプロジェクト全体を一度に調査させる使い方は厳しいと感じました。

6. Agentのシステムプロンプトを短くしたら動かなくなった

コンテキストを節約するため、Agentのシステムプロンプトを短い独自の文章に置き換える方法も試しました。

ところが、標準のAgent向け指示まで置き換わってしまったようで、ツールを使うための指示が失われ、Agentが正常に動かなくなりました。

この設定は元に戻しています。

コンテキストを節約したいからといって、Agentのシステムプロンプトを安易に丸ごと置き換えるのは避けた方がよさそうです。

7. 実際に使うなら、どんな作業が向いているか

今回の検証では、ローカルLLMに大規模な自律型エージェントの役割を任せるのは難しいと感じました。

一方で、作業範囲を限定すれば、十分に活用できそうです。

作業 相性
コードの解説 向いている
エラー原因の調査 関連コードやエラーを限定すれば使いやすい
小規模なコード生成 関数・クラス単位なら使いやすい
単一ファイルの修正 変更範囲を明示すれば対応可能
テストコード作成 対象を限定すれば対応可能
小規模なリファクタリング 変更範囲を限定すれば対応可能
プロジェクト全体の解析 コンテキスト不足になりやすい
複数ファイルにまたがる大規模な実装 厳しい

ローカルLLMを使う場合は、次のように依頼を小さく分けるのが現実的だと思います。

  • 作業ごとに新しいチャットを開始する
  • 必要なファイルだけを参照させる
  • ファイル全体ではなく、必要な関数や範囲を渡す
  • Agentには一度に小さな作業を依頼する
  • 変更前後の差分を確認する

8. 今後試したいこと

今後は、次の改善を試す予定です。

  1. ContinueのAgentで不要なツールをExcludedにし、入力される情報量を減らす
  2. 会話履歴を短く保ち、作業ごとにチャットを分ける
  3. ファイルを一度に読み込ませず、必要な範囲に分ける
  4. チャット・編集用モデルとコード補完用モデルを分ける
  5. 大規模な解析や実装ではクラウドモデルと併用する

9. まとめ

今回の構成では、OllamaとContinueを接続し、Qwen3 8BをVS Codeから利用するところまでは問題なくできました。

一方、RTX 2070(VRAM 8GB)では、次のような制約がありました。

  • コンテキスト8192ならGPUのみで動作するが、Agentでは容量不足になりやすい
  • 16384に増やすとCPUオフロードが発生し、処理が遅くなる
  • プロジェクト全体を読み込ませるような使い方は難しい

現時点では、次のように使い分けるのがよさそうです。

  • ローカルLLM: コード解説、エラー調査、小規模なコード生成・修正
  • クラウドAI: プロジェクト全体の解析、複数ファイルにまたがる大規模な実装

ローカルLLMは、クラウド型AIを完全に置き換えるものとしてではなく、日常的な小さな作業を任せる補助役として使うのが現実的だと感じました。

同じようにVRAM 8GBクラスのGPUでローカルLLMを試している方の参考になれば幸いです。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?