はじめに
「自分のPC内で動くAIにコードを書いてほしい」と思い立ち、M1 MacでローカルLLM環境の構築を始めました。
結論から言うと、「バリバリ実用レベル!」とはいきませんが、ものすごく簡単なシェルスクリプトを生成・実行させる環境までは辿り着きました。
すぐに生成が止まったり、思考が途切れたりすることもしばしばです、今回はその構築の備録です。
使用した環境
• マシン: M1 Mac
• LLM実行基盤: Ollama
• AIコーディングアシスタント: Aider
• モデル: qwen2.5-coder:7b
インストール済みのアプリ
• ollama(ディスクトップアプリ版)
• aider(home brewで)
構築手順
1. Ollamaで専用のModelfileを作成する
まずはOllamaでqwen2.5-coder:7bをベースに、コンテキストの制限を調整した設定ファイルを作成します。
cat <<EOF > Modelfile
FROM qwen2.5-coder:7b
PARAMETER num_ctx 4096
EOF
2. カスタムモデルの作成
設定に基づき、ローカル専用のモデルをビルドします。
ollama create qwen-coder-light -f Modelfile
3. Aiderからローカルモデルを呼び出す
Aiderを起動し、OllamaのAPIサーバーを指定してモデルを紐付けます。
aider --openai-api-base http://localhost:11434/v1
--model openai/qwen-coder-light
かなり制限して以下ように起動します。
aider --openai-api-base http://localhost:11434/v1
--model openai/qwen-coder-light
--max-chat-history-tokens 4096
--map-tokens 1024
感想
今のところは「動いた!」という実感が9割
何度か指示したり、細かく指示しないと全然上手くいかないです。
しかし、「自分のMacのローカル環境だけで、AIがシェルスクリプトを生成し、それを自分でll実行できる」という体験は、技術的に面白いスタート地点でした。