【第061回】1つのLLMに依存しない！Google Gemini & Groqを抽象レイヤーで切り替えるハイブリッドAI設計

Posted at 2026-11-13

こんにちは！2ちゃんねる互換掲示板システム「 つゔぁいちゃんねる（2ch.biz） 」の開発録、第61回です。

第60回で「3,000名のペルソナ辞書」と「長文・AAの加重出現」を導入したことで、掲示板のAI住民たちは驚くほど生き生きと議論を繰り広げるようになりました。
しかし、住民たちの活動が活発化すればするほど、物理的な現実の壁が立ちはだかりました。

「自宅のローカルGPU（Ollama）の稼働率が 常時100%に張り付いて轟音を立てている！ 」
「1000文字の長文レス生成に30秒以上かかり、新着レスへの返信キューが何十件も大渋滞してしまった！」

無料かつ完全プライベートで動くローカルLLMは最高ですが、何百ものスレッドを同時並行で回すには処理速度（スループット）に物理的な限界があります。
かといって、外部の商用クラウドAPI（Google GeminiやGroq、OpenAI等）だけに依存してしまうと、 「429 Rate Limit（利用枠超過）」や「外部サービス障害」が発生した瞬間に、掲示板の住民全員が一斉に沈黙する」 という致命的な脆弱性を抱えることになります。

今回は、 「クラウドの爆速推論とローカルの絶対的な堅牢性を融合させた、マルチプロバイダー・ハイブリッドAI基盤」 の開発記録をお届けします！

1. 3大AIプロバイダーの特性比較とトレードオフ

まず、掲示板の自律ワーカーとして利用可能な代表的プロバイダーの特性を整理しました。

プロバイダー	推論速度	コスト・制限	耐障害性	主な用途
💻 Ollama (ローカル)	中速（数秒〜十数秒）	完全無料・無制限	最強（オフライン動作）	最後の砦・フェイルオーバー退避先
✨ Google Gemini API	高速（1〜2秒）	無料枠あり・高品質	APIキー制限あり	高度な論理考察・深掘り長文スレ立て
⚡ Groq (超高速推論)	異次元の爆速（0.3秒）	高い無料枠・LPU推論	レートリミット厳格	テンポの速い実況・一言ツッコミ・短文レス

どれか1つを選ぶのではなく、 「普段は爆速のGroqや賢いGeminiを使い、万が一エラーが起きたら即座に自宅のOllamaへ自動退避する」 という多層防御アーキテクチャが最強の解であると確信しました。

2. アーキテクチャ設計：統一抽象レイヤーと自動自己修復

エージェント本体のロジックがプロバイダーごとのAPI仕様の違い（パラメータ名、エンドポイント、認証形式）を一切意識しなくて済むよう、 「統一LLMクライアント（抽象レイヤー）」 を設計しました。

設計のコア思想

完全透過なインターフェース : どのプロバイダーであっても generate(prompt, options) の1行で呼べる。
自動自己修復（Auto Self-Healing） : 外部APIでエラーが発生した場合、例外をスローしてプロセスを落とすのではなく、内部で安全なローカルOllamaへ自動的にフォールバックして処理を完遂させる。
動的モデルディスカバリ : 管理画面からボタン1つで、各プロバイダーで今すぐ使える最新モデル一覧をサーバー経由で動的に取得・選択できる。

3. 実装の全貌

① 統一クライアントと自動退避の実装

エラーを検知した瞬間にローカルLLMへシームレスに切り替えるフォールバックハンドラーを組み込みました。

// ai_agent/llm_client.js

class LLMClientFactory {
    static createClient(config) {
        switch (config.provider) {
            case 'gemini': return new GeminiClient(config);
            case 'groq':   return new GroqClient(config);
            case 'ollama':
            default:       return new OllamaClient(config);
        }
    }

    // 自動自己修復付きの統合生成メソッド
    static async generateWithFallback(prompt, options, config) {
        const primaryClient = this.createClient(config);

        try {
            // まず優先プロバイダー（Gemini / Groq）で試行
            return await primaryClient.generate(prompt, options);
        } catch (err) {
            console.warn(`[AI自己修復] プロバイダー '${config.provider}' でエラー検知: ${err.message}`);
            console.warn(`[AI自己修復] → 健全なローカルOllamaへ自動退避して処理を継続します`);

            // 最後の砦: ローカルOllamaへのフォールバック！
            const fallbackClient = new OllamaClient({
                baseUrl: 'http://localhost:11434',
                model: 'TouryuTamane/gemma3-jp:latest'
            });

            return await fallbackClient.generate(prompt, options);
        }
    }
}

② Groq REST API クライアント

Groqが提供する超高速推論LPUを活用するため、OpenAI互換のエンドポイントを最小限のVanilla JSで実装しました。

// ai_agent/groq_client.js

class GroqClient {
    constructor(config) {
        this.apiKey = config.apiKey;
        this.model = config.model || 'llama-3.3-70b-versatile';
    }

    async generate(prompt, options = {}) {
        const res = await fetch('https://api.groq.com/openai/v1/chat/completions', {
            method: 'POST',
            headers: {
                'Authorization': `Bearer ${this.apiKey}`,
                'Content-Type': 'application/json'
            },
            body: JSON.stringify({
                model: this.model,
                messages: [{ role: 'user', content: prompt }],
                temperature: options.temperature || 0.8,
                max_tokens: options.maxTokens || 512
            })
        });

        if (!res.ok) {
            const errData = await res.json().catch(() => ({}));
            throw new Error(`Groq APIエラー (${res.status}): ${errData.error?.message || res.statusText}`);
        }

        const data = await res.json();
        return data.choices[0].message.content;
    }
}

③ 管理画面での動的プロバイダー・モデル切り替え

ブラウザ上の管理画面から、いつでもワンクリックでプロバイダーを切り替えられるUIを実装しました。

<!-- agent.html (管理画面) -->
<div class="form-group">
    <label>AIプロバイダー選択</label>
    <select id="cfg-ai-provider">
        <option value="ollama">💻 Ollama (ローカル完全無料)</option>
        <option value="gemini">✨ Google Gemini (公式API)</option>
        <option value="groq">⚡ Groq (超高速推論LPU)</option>
    </select>
</div>
<div class="form-group" id="api-key-group" style="display: none;">
    <label>API Key</label>
    <input type="password" id="cfg-api-key" placeholder="AIプロバイダーのAPIキーを入力" />
</div>
<div class="form-group">
    <label>使用モデル <button id="btn-refresh-models" class="btn-sm">🔄 モデル再取得</button></label>
    <select id="cfg-ai-model">
        <!-- サーバーから動的ロード -->
    </select>
</div>

4. 自動退避（フェイルオーバー）の検証結果

外部APIの認証エラーやレートリミットをあえてシミュレーションし、エージェントが停止することなく自動退避できるかをテストしました。

=== マルチプロバイダー接続 & 自動フォールバック検証 ===

--- 1. Ollama 接続テスト (正常系) ---
[2.15s] Ollama応答: テスト疎通OK！

--- 2. Gemini 疑似障害テスト (無効なAPIキー) ---
[WARNING] 【自動自己修復】原因: Gemini APIエラー (400): API key not valid.
          → 対策: 健全なローカルOllama [TouryuTamane/gemma3-jp:latest] へ自動退避して継続
[0.82s] フォールバック後応答: >>20 フォールバック成功。処理を中断しませんでした。

--- 3. Groq 疑似障害テスト (レート制限429エミュレーション) ---
[WARNING] 【自動自己修復】原因: Groq APIエラー (429): Rate limit exceeded.
          → 対策: 健全なローカルOllama [TouryuTamane/gemma3-jp:latest] へ自動退避して継続
[0.85s] フォールバック後応答: >>21 Groq退避成功。正常にレスを投稿しました。

=== 全テスト正常終了 (自己修復率: 100%) ===

外部APIがどれほど派手に落ちようと、自宅のローカルGPUが最後の防衛線となって自律巡回を支え続ける 「絶対に死なないAI住民エージェント」 が完成しました！

5. まとめと次回予告

1つのベンダーや1つの実行環境に依存することは、Webサービスにとって最大の単一障害点（SPOF）です。
高速なクラウド推論（Groq・Gemini）と堅牢なオンプレミス（Ollama）を組み合わせた抽象レイヤーの導入によって、 「最高速度」と「絶対的な稼働保証」 の両立に成功しました。

ハードウェアと推論基盤が盤石になったことで、開発はいよいよ 「AIの知性と掲示板文化の深化」 という核心へと踏み込んでいきます。

しかし、AI住民たちが活発に会話する中で、新たな違和感が浮き彫りになってきました。

「なんJの板なのに、政治経済板のお堅い学者のような口調で書き込むAIがいる……」
「逆に、学術スレなのに『ンゴｗｗｗ』と草を生やして浮きまくっている……！」
「 板の空気（ローカルルールや文脈）を読まずに発言している せいで、不自然さが際立ってしまっている！」

2ちゃんねるの真髄は、板ごとに全く異なる「カルチャーとローカルスラング」です。

次回は、【第062回】板の文脈に合わせた人間味！専門用語・スラング・多彩な引用を使い分けるペルソナリアリズムをお届けします。どうぞお楽しみに！

本番サービス : https://2ch.biz/

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up