どうも、元エンジニアでシステムとか作ってました、山田健太郎です。

今はちょっとニッチな領域（富裕層/経営者向け）で、完全隔離型のローカルAI（プライベートAI）環境を構築する仕事をしています。

土曜の朝、コーヒーを飲みながら東京都が公募を始めた最大1億1,000万円の予算規模の事業、「大学等と連携した行政特化型国産AIモデルの構築・実証事業」の募集要項や公式仕様書を読んでいたんですが……。

掲載されていたシステム構成図を見た瞬間、あまりの不合理さにコーヒーを噴き出しそうになりました。笑笑

これ、今のモダンなLLMの進化スピードを知っているエンジニアが誰も設計に関わっていない、典型的な「平成型のレガシー設計（無駄な二重投資）」になってるんですよね。

エンジニア視点でどこがどうヤバいのか、外部データ連携（RAG）の仕組みを交えながら、現代の生成AIエンジニアリングなら「今すぐプロンプト1枚、コスト実質0円」でどうスマートに実装すべきなのか、ラフに解剖してみます。

🔥なぜ、わざわざ「脳みそ（モデル）」を量産しようとするのか？

公式のシステム図を見ると、彼らはすでに全職員向けの生成AI基盤「A1」というのを持っているのに、わざわざその外側に別システムを作ろうとしています。

で、その中に「総合的な問合せ機能」っていう、要は「振り分けルーター」のプログラムを開発し、その下に「〇〇業務専門言語モデル」という個別の追加学習（ファインチューニング）させたモデルを数珠繋ぎに量産して、質問を振り分けようとしてるんです。

「財務の質問は財務の脳みそへ、人事の質問は人事の脳みそへ手動で振り分ければいいじゃん！」という、昭和・平成のWebシステム開発の発想のまま突っ走っちゃったんでしょうね。

でもこれ、完全に車輪の再発明です。

💡 現代のLLMなら「Function Calling」で一発だろ、という話

今のGPT-4oでもGeminiでもClaude 3.5 Sonnetでも、ちょっとAI触ってるエンジニアならみんな知ってますが、主要なLLMには「Function Calling（関数呼び出し / ツール利用）」や高度な「インテント（意図）解析）」が標準装備されています。

わざわざ「財務用の脳みそ」「人事用の脳みそ」なんて重たい個別モデルをいくつも作ってサーバー（GPU）に常時起動しておかなくても、中央の賢い汎用モデルが1つあればいい。

AI自身がユーザーの質問文を読んで「あ、これは財務マニュアルを参照しにいくべきだな」と自分でコンテキスト（意図）を解釈し、裏側にある適切なデータベース（PDF等）を自身の知性で自動的に選別して引きにいく能力がデフォルトで備わっているんです。

つまり、彼らが1.1億円かけて作ろうとしている「ルーター＋モデル量産システム」は、今すぐ指示書（プロンプト）1枚で完全に代替可能なんですよ。

🚨 モデルを量産した先に待つ「3大破滅リスク」

データの構造化という泥臭い基本を避けて、「独自モデル構築（ファインチューニング）」というカッコいい予算消化に逃げると、数ヶ月後に以下のデスゲームが始まります。

インフラコスト（VRAM/電気代）の爆発

個別モデルをサーバー上で常時ホストしておくのって、超高性能GPUのメモリを死ぬほど食います。それを業務ごとに何十個も常時起動させておくなんて、維持費だけで1.1億円の予算は一瞬で溶けます。

破滅的忘却（Catastrophic Forgetting）

既存のLLMに無理やり新しい行政の知識を突っ込む（ファインチューニングする）と、それまで持っていた汎用的な対話能力や別の知識を綺麗さっぱり忘れる現象（破滅的忘却）が起きます。

法律が変わるたびに再学習（バージョン管理の破綻）

行政の世界って、毎年法律や条例が変わりますよね。変わるたびに、量産したモデルを毎回巨額のコストと時間をかけて再学習させ直すんでしょうか？確実に詰みます。

🔍 誰も指摘しない本質：ハルシネーションの真犯人はモデルではなく「データの未整理」

ここで、一つの素朴な疑問が浮かびます。

「現行のA1という素晴らしい基盤があり、技術的にはデータ参照（RAG）で解決できる画面まで用意されているのに、なぜわざわざ1.1億円もの巨額予算を投じて『特化型モデルの構築』に走る必要があったのか？」

答えはシンプルで、現場でA1を使っていて「思ったような回答が出ない」「嘘（ハルシネーション）が混ざる」という不満があったからでしょう。
でも、ここで彼らは致命的な「大誤診」を起こしているんですよね。

ハルシネーションが起きる原因は、GPT-4oの頭が悪いからではありません。AIに参照させている都庁内部の行政データ（PDFやマニュアル）が、AIにとって極めて読みづらい「未整理のゴミデータ」のままだからです。

AIの世界には「Garbage In, Garbage Out（ゴミを入れれば、ゴミが出てくる）」という絶対の鉄則があります。
人間向けに作られた行政資料は、往々にして以下のような問題を抱えています。

複雑な参照関係（「第3条第2項の規定にかかわらず、別表第4に定める場合は〜」など）
表記の揺れ（同じ意味なのに「令和8年」と「2026年」が混在している）
スキャンされただけの、テキストデータが埋め込まれていないPDF

こんな状態の資料をそのままAIに「カンニングペーパー」として渡せば、当然検索エラー（ミスマッチ）が起きます。結果としてAIは、不正確なデータをもとに回答を作るか、足りない知識を自分の確率論（記憶）で補おうとしてハルシネーションを起こします。

つまり、本質的な課題は1.1億円をかけてモデルを大改造することでは断じてない。行政データをAIが1文字の狂いもなく検索・理解できる形式に整える「データのクレンジングと構造化（AI-ready化）」、これだけなんですよ。

技術の本質がわからない人たちが「AIが都政のルールを知らないからだ！脳みそをいじれ！」と勘違いし、データの構造化という地味で一番大事な基本から目を背ける。これこそが、行政ITがいつまでもレガシーから脱却できない根本原因です。

🛠️ 令和のアーキテクチャの正解：「頭脳とデータの完全分離」

じゃあ、この予算を預かってスマートに実装するならどうするか。AIの知性を100%活かした「頭脳とデータの完全分離型アーキテクチャ」一択で組みます。

頭脳（LLM）は中央の1つに固定する：脳みそ自体には行政の生データを絶対に覚えさせない。汎用性の高い最高峰のモデルを1本だけ真ん中に置く。

データは「AI-ready」に構造化して外側に置く：先ほど指摘した通り、行政情報をすべて、AIが一問一答形式などで1文字の狂いもなく正確に参照できるクリーンなデータベース（CSV、JSON、あるいはリレーショナルDB）として、モデルの外側に完全に切り離して保持する。

これなら、明日法律や条例が変わっても、外側にあるデータベースの中身を最新のものに差し替えるだけで、システム全体のアップデートが1秒で完了します。

モデルの再学習コストは永遠に0円。挙動がブレる心配もナシ。これこそが、最も美しく、持続可能なスマート実装です。

☕ まとめ

仕様書を見る限り、「そもそも行政組織の中にAIを正しく作れる人間がいないから、大学機関などの外部組織を巻き込んで作らせたい」という大人の事情が見え隠れします。

あるいは、この設計のせいで毎年発生するであろう「法改正に伴う再学習やメンテナンス」のたびに、巨額の保守費用を後から身内のベンダーががっぽり頂き続けるための、美しい利権の伏線なんじゃないかと勘繰りたくなるレベルの愚策です……笑。

実際に手を動かしてシステムを作ってきた現場のAIエンジニアが、早急に設計しなおしてくれることを切に願っています。

【追伸】
巨大テックへの情報流出（検閲）を完全に遮断し、自分のPC環境だけで動くAIがやっぱり最高です。自分の活動はプロフィールのURL（ https://kentyama.github.io/ ）から。

では、また。