Claude CodeをLiteLLM経由でローカルLLM(Ollama / DGX Spark)に接続して動かす方法【Podman】

Last updated at 2026-08-22Posted at 2026-08-22

windowsPCにClaudCodeをインストールして、ローカルLLMに繋げたいと思います。

1. まずDGX Spark等のローカルLLMを用意します

ウチはASUS Ascent GX10です

windows側から接続確認
DGX Sparkは基本的には127.0.0.1からしか繋がらないので、そこは開放する設定を調べてやってください
今回使うモデルはgemma4:e2bです(特に意図はないです)

2. Podmanを起動します

podman machine start

3. compose.yml をつくります

モデルは各自好きなのに書き換えてください
あとDGX Spark等のサーバのIP

compose.yml

services:
  litellm-gemma:
    image: ghcr.io/berriai/litellm:main-latest
    container_name: litellm_proxy_gemma
    ports:
      - "4001:4000"
    environment:
      - OPENAI_API_BASE=http://192.168.10.41:11434/v1
      - OPENAI_API_KEY=ollama
    command:
      - "--model"
      - "openai/gemma4:e2b"
      - "--host"
      - "0.0.0.0"
      - "--port"
      - "4000"
    extra_hosts:
      - "host.containers.internal:host-gateway"

  claude-agent-gemma:
    image: node:22-slim
    container_name: claude_code_agent_gemma
    stdin_open: true
    tty: true
    volumes:
      - ./workspace:/workspace
    working_dir: /workspace
    environment:
      - ANTHROPIC_BASE_URL=http://litellm-gemma:4000
      - ANTHROPIC_API_KEY=dummy
      - ANTHROPIC_AUTH_TOKEN=dummy
      - ANTHROPIC_MODEL=openai/gemma4:e2b
      - ANTHROPIC_DEFAULT_SONNET_MODEL=openai/gemma4:e2b
      - ANTHROPIC_DEFAULT_HAIKU_MODEL=openai/gemma4:e2b
      - ANTHROPIC_DEFAULT_OPUS_MODEL=openai/gemma4:e2b
      - ENV=/root/.bashrc
    command: >
      bash -c "
      echo 'alias bye=exit' >> /root/.bashrc &&
      apt-get update &&
      apt-get install -y curl git &&
      npm install -g @anthropic-ai/claude-code &&
      exec bash
      "
    depends_on:
      - litellm-gemma
    extra_hosts:
      - "host.containers.internal:host-gateway"