どうも、元エンジニアでシステムとか作ってました、山田健太郎です。
今はちょっとニッチな領域（富裕層/経営者向け）で、完全隔離型のローカルAI（プライベートAI）環境を構築する仕事をしています。
土曜の朝、コーヒーを飲みながら東京都が公募を始めた最大1億1,000万円の予算規模の事業、「大学等と連携した行政特化型国産AIモデルの構築・実証事業」の募集要項や公式仕様書を読んでいたんですが……。
掲載されていたシステム構成図を見た瞬間、あまりの不合理さにコーヒーを噴き出しそうになりました。笑笑
これ、今のモダンなLLMの進化スピードを知っているエンジニアが誰も設計に関わっていない、典型的な「平成型のレガシー設計（無駄な二重投資）」になってるんですよね。
エンジニア視点でどこがどうヤバいのか、そして現代の生成AIエンジニアリングなら「今すぐプロンプト1枚、コスト実質0円」でどうスマートに実装すべきなのか、ラフに解剖してみます。
🔥なぜ、わざわざ「脳みそ（モデル）」を量産しようとするのか？
公式のシステム図を見ると、彼らはすでに全職員向けの生成AI基盤「A1」というのを持っているのに、わざわざその外側に別システムを作ろうとしています。
で、その中に「総合的な問合せ機能」っていう、要は「振り分けルーター」のプログラムを開発し、その下に「〇〇業務専門言語モデル」という個別の追加学習（ファインチューニング）させたモデルを数珠繋ぎに量産して、質問を振り分けようとしてるんです。
「財務の質問は財務の脳みそへ、人事の質問は人事の脳みそへ手動で振り分ければいいじゃん！」という、昭和・平成のWebシステム開発の発想のまま突っ走っちゃったんでしょうね。
でもこれ、完全に車輪の再発明です。
💡 現代のLLMなら「Function Calling」で一発だろ、という話
今のGPT-4oでもGeminiでもClaude 3.5 Sonnetでも、ちょっとAI触ってるエンジニアならみんな知ってますが、主要なLLMには「Function Calling（関数呼び出し / ツール利用）」や高度な「インテント（意図）解析）」が標準装備されています。
わざわざ「財務用の脳みそ」「人事用の脳みそ」なんて重たい個別モデルをいくつも作ってサーバー（GPU）に常時起動しておかなくても、中央の賢い汎用モデルが1つあればいい。
AI自身がユーザーの質問文を読んで「あ、これは財務マニュアルを参照しにいくべきだな」と自分でコンテキスト（意図）を解釈し、裏側にある適切なデータベース（PDF等）を自身の知性で自動的に選別して引きにいく能力がデフォルトで備わっているんです。
つまり、彼らが1.1億円かけて作ろうとしている「ルーター＋モデル量産システム」は、今すぐ指示書（プロンプト）1枚で完全に代替可能なんですよ。
🚨 モデルを量産した先に待つ「3大破滅リスク」
データの構造化という泥臭い基本を避けて、「独自モデル構築（ファインチューニング）」というカッコいい予算消化に逃げると、数ヶ月後に以下のデスゲームが始まります。
インフラコスト（VRAM/電気代）の爆発
個別モデルをサーバー上で常時ホストしておくのって、超高性能GPUのメモリを死ぬほど食います。それを業務ごとに何十個も常時起動させておくなんて、維持費だけで1.1億円の予算は一瞬で溶けます。
破滅的忘却（Catastrophic Forgetting）
既存のLLMに無理やり新しい行政の知識を突っ込む（ファインチューニングする）と、それまで持っていた汎用的な対話能力や別の知識を綺麗さっぱり忘れる現象（破滅的忘却）が起きます。
法律が変わるたびに再学習（バージョン管理の破綻）
行政の世界って、毎年法律や条例が変わりますよね。変わるたびに、量産したモデルを毎回巨額のコストと時間をかけて再学習させ直すんでしょうか？ 確実に詰みます。
🛠️ 令和のアーキテクチャの正解：「頭脳とデータの完全分離」
もし、私がこの予算をスマートに実装するなら、AIの知性を100%活かした「頭脳とデータの完全分離型アーキテクチャ」一択で組みます。
頭脳（LLM）は中央の1つに固定する： 脳みそ自体には行政の生データを絶対に覚えさせない。汎用性の高い最高峰のモデルを1本だけ真ん中に置く。
データは「AI-ready」に構造化して外側に置く： 行政情報のすべてのデータを、AIが1文字の狂いもなく正確に参照できるデータベースとして、モデルの外側に完全に切り離して保持する。
これなら、明日法律や条例が変わっても、外側にあるデータベースの中身（PDFや構造化データ）を最新のものに差し替えるだけで、システム全体のアップデートが1秒で完了します。
モデルの再学習コストは永遠に0円。挙動がブレる心配もナシ。これこそが、最も美しく、持続可能なスマート実装です。
☕ まとめ
仕様書を見る限り、「そもそも行政組織の中にAIを正しく作れる人間がいないから、大学機関などの外部組織を巻き込んで作らせたい」という大人の事情が見え隠れします。あるいは、この設計のせいで毎年発生するであろう「再学習のための保守予算」を、後から身内のベンダーががっぽり頂き続けるための伏線なんじゃないかと勘繰りたくなるレベルの愚策です……笑。
実際に手を動かしてシステムを作ってきた現場のAIエンジニアが、早急に設計しなおしてくれることを切に願っています。
【追伸】
巨大テックへの情報流出（検閲）を完全に遮断し、自分のPC環境だけで動くAIがやっぱり最高です。自分の活動はプロフィールのURL（ https://kentyama.github.io/ ）から。
では、また。