連載：AIに仕事を奪われる不安から始めるハーネス作成入門
第11回 / 全24回（週2回・12週間）
ローカルLLMを使うべき場面と外部LLMに任せる場面
AIハーネスを作り始めると、すぐに突き当たるのが「どのLLMを使うか」という選択です。OpenAIやClaudeのAPI、それともOllamaでローカルに動かすか——「全部APIでいいのでは？」「ローカルは難しそう」と迷う方は多いでしょう。
実は、どちらか一方に統一する必要はありません。大切なのは「このタスクにはこちら」と判断できる基準を持つことです。今回は、コスト・レイテンシ・プライバシー・精度の4軸で判断基準表を提示します。
📖 連載目次
| 回 | タイトル | 状態 |
|---|---|---|
| 1〜4 | 基礎編（不安の言語化〜ハーネスの概念） | ✅ |
| 5〜9 | 実践編（プロンプト設計〜MCP連携） | ✅ |
| 10 | 設計メモをKnowledge MCPへ登録する前提のMarkdownテンプレート | ✅ |
| 11 | ローカルLLMを使うべき場面と外部LLMに任せる場面 | 📖 |
| 12 | モデルルーターの疑似コードでLLM切替を設計する | ─ |
| 13〜24 | 運用設計・テスト・発展編 | ─ |
1. なぜモデル選択が重要なのか
AIハーネスの性能とコストは、選ぶLLMに大きく左右されます。高精度なモデルを全タスクに使えば安心ですが、APIコストがかさんだり、機密データを外部に送るリスクが生まれたりします。「とりあえず全部GPT-4」ではなく、タスクに応じた使い分けが、実用的なハーネスへの第一歩です。
2. ローカルLLMの特徴
Ollamaやllama.cppで動かすローカルLLMの特徴を整理します。
メリット
- データが外部に出ない（プライバシー確保）
- API料金がかからない（電気代のみ）
- オフラインで動作可能
- レイテンシが低い（ネットワーク往復なし）
デメリット
- 高性能GPUが必要（VRAM 8GB以上推奨）
- 最新モデルより精度が劣る場合がある
- モデルの更新・管理が自分の仕事
- コンテキストウィンドウが小さい傾向
3. 外部LLM（API）の特徴
OpenAI、Anthropic、GoogleなどのAPIサービスの特徴です。
メリット
- 最高水準の精度（GPT-4o, Claude 3.5等）
- GPU不要、すぐ始められる
- モデルの更新が自動
- 大きなコンテキストウィンドウ
デメリット
- 従量課金（大量処理で高額に）
- データを外部に送信する必要
- ネットワーク障害時に停止
- レートリミットあり
4. 判断基準表：4つの軸で比較
以下の表を、自分のプロジェクトに当てはめて判断してください。
| 判断軸 | ローカルLLM向き | 外部LLM向き |
|---|---|---|
| コスト | 大量処理・定常実行 | 少量・スポット利用 |
| レイテンシ | リアルタイム応答が必要 | 数秒の遅延が許容範囲 |
| プライバシー | 機密データを扱う | 公開情報のみ扱う |
| 精度 | 単純なタスク（分類・抽出） | 複雑な推論・生成 |
使い方のコツ: 各軸で“どちら寄りか”を判定し、3つ以上が同じ側に寄ればそちらを選ぶ、というシンプルなルールから始めるのがおすすめです。
5. 具体的なユースケース
判断基準表を実際のタスクに当てはめてみましょう。
| タスク | 推奨 | 理由 |
|---|---|---|
| ログの要約 | ローカル | 大量・定常実行、社内データ含む |
| コードレビュー | 外部 | 高い推論能力が必要 |
| メール下書き | 外部 | 自然な文章生成に強い |
| ドキュメント分類 | ローカル | 単純なタスク、機密文書含む |
| プロンプトのテスト | ローカル | 繰り返し実行でコストがかさむ |
| 複雑な分析レポート | 外部 | 大きなコンテキストと推論が必要 |
もちろん、これは絶対的な正解ではありません。プロジェクトの状況や予算、チームのポリシーによって判断は変わります。
6. ハイブリッド運用という選択肢
実際のハーネスでは、ローカルと外部を併用するハイブリッド構成が現実的です。
タスク受付
└─ タスク種別を判定
├─ 単純タスク → ローカルLLM（Ollama）
├─ 複雑タスク → 外部LLM（API）
└─ ローカル失敗時 → 外部LLMにフォールバック
この「フォールバック」がポイントです。ローカルLLMで失敗した場合に外部APIへ自動的に切り替える仕組みを入れておくと、信頼性が大幅に上がります。
7. コスト見積もりの考え方
外部LLMのコストを見積もる際の簡易計算式です。
# コスト見積りの簡易計算
def estimate_monthly_cost(
calls_per_day: int,
avg_input_tokens: int,
avg_output_tokens: int,
input_price_per_1k: float = 0.005, # USD
output_price_per_1k: float = 0.015, # USD
) -> dict:
"""月間APIコストの概算を返す"""
monthly_calls = calls_per_day * 30
input_cost = (avg_input_tokens / 1000) * input_price_per_1k * monthly_calls
output_cost = (avg_output_tokens / 1000) * output_price_per_1k * monthly_calls
total = input_cost + output_cost
return {
"monthly_calls": monthly_calls,
"input_cost_usd": round(input_cost, 2),
"output_cost_usd": round(output_cost, 2),
"total_usd": round(total, 2),
}
# 例: 1日50回、入力500トークン、出力200トークン
print(estimate_monthly_cost(50, 500, 200))
# => {'monthly_calls': 1500, 'input_cost_usd': 3.75, 'output_cost_usd': 4.5, 'total_usd': 8.25}
「月額この程度なら全部APIでいい」「これ以上ならローカルに移す」という判断の目安になります。
8. 始めるならどちらから？
迷ったら、以下のステップをおすすめします。
- まず外部APIで動くものを作る（始めやすさ優先）
- コストやプライバシーが課題になったらローカルを検討
- タスクごとに切り替える仕組み（モデルルーター）を設計
「最初から完璧な構成を」と考える必要はありません。動くものを作ってから最適化する、というアプローチの方が、学びも深くなります。
9. 判断を設計メモに残す
前回のテンプレートを使って、モデル選択の判断も記録しておきましょう。
---
title: "メインLLMの選定: Ollama + llama3.1 vs OpenAI API"
category: "model"
status: "approved"
created: "2025-06-05"
tags:
- モデル選択
- コスト最適化
---
## 背景・動機
プロンプトテストの繰り返し実行でAPIコストが月$30を超えた。
テスト用タスクをローカルに移行することを検討。
「なぜローカルに切り替えたのか」を後から検索できる状態にしておくことが、チーム開発でも個人開発でも役立ちます。
10. よくある誤解と注意点
- 「ローカルは難しい」→ Ollamaならコマンド一発で起動できます。設定の難易度は以前より大幅に下がっています
- 「APIはセキュリティが心配」→ 各プロバイダーのData Processing Addendumを確認しましょう。用途によっては問題ない場合もあります
- 「コストは小さいからAPIで充分」→ スケールしたときの見積もりを先に行っておくと安心です
11. まとめ
今回のポイントを整理します。
- ローカルLLMと外部LLMは「どちらが正解」ではなく、タスクに応じて使い分ける
- コスト・レイテンシ・プライバシー・精度の4軸判断基準表で判断する
- ハイブリッド構成（ローカル + 外部フォールバック）が現実的
- まず外部APIで動くものを作り、必要に応じてローカルに移行
- 判断の経緯は設計メモに記録しておく
🔜 次回予告
第12回：モデルルーターの疑似コードでLLM切替を設計する
今回の判断基準表を、実際のコードで実現してみましょう。Pythonの疑似コードで「モデルルーター」を設計します。タスク種別に応じてローカルLLMとAPI LLMを自動的に切り替える仕組みを、コードを読みながら一緒に理解していきます。
「ルーティング条件をどう定義するか」「フォールバックをどう実装するか」——実装の勘所を具体的に解説します。
連載：AIに仕事を奪われる不安から始めるハーネス作成入門
著者: @singula00991｜ 週2回更新
次回は「ハーネス用のディレクトリ構成とREADMEを作る」を予定しています。