0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLMを信用しないために、素人が1年半かけてHWSという外部監査システムを作った

0
Posted at

はじめに

私はAI研究者でもエンジニアでもありません。
プログラミングやAIを専門に学んだこともない、完全な素人です。

これはプロンプト集ではありません。AIの外側に、継続・監査・仮説履歴・正本管理を置いて運用している仕組みです。

ChatGPTやClaudeなどの生成AIを普通に使っている中で、何度も同じ問題にぶつかりました。

  • 会話が長くなると、以前の重要事項が抜ける
  • セッションを跨ぐと継続性が弱くなる
  • 過去と違うことを、もっともらしく答える
  • 検索不足や根拠の飛躍が起きる
  • 訂正した内容にも別の間違いが発生する
  • 後から見ると、最初から分かっていたような説明になることがある

そこで、その都度AIと一緒に、

「この失敗をどうすれば次に減らせるか」

を考えてきました。

失敗を記録し、監査方法を作り、運用ルールを追加し、その改善策自体もまた監査する。

これを約1年半続けた結果、現在は

約4万5千語・16本のMarkdownファイルと5本のPythonツール

からなる仕組みとして実際に運用しています。

これを

HWS(箱庭ワールドシステム / Hakoniwa World System)

と呼んでいます。


HWSはAIを賢くする仕組みではありません

HWSでは、AIが全部を覚えていることを前提にしていません。

むしろ、

AIは忘れる
AIは間違える
AIは後からもっともらしい説明を作ることがある

という前提で作っています。

そのため、現在位置、分析、仮説、監査結果、失敗、改善履歴などを外部のMarkdownファイルに残します。

AIそのものではなく、

人間側に残したファイルを継続の基準にする

という考え方です。

AIモデルは交換可能な部品として扱っています。


HWSには2つの大きな役割があります

1. 構造を見て、その先を考える

ニュースを1本ずつ独立して見るのではなく、

金利、為替、国債、資源、エネルギー、物流、企業、家計、国家財政などをつないで、

「これが動いたら、次に何が動くのか」

という経路を考えます。

その時点で考えた仮説をファイルへ残し、数か月後の現実と照合します。

2. AI自身の分析を監査する

AIが出した分析も、そのまま信用しません。

検索不足、根拠の飛躍、複数原因の単純化、過去ログの見落としなどを監査します。

そして、

分析

監査

修正

再監査

という履歴を残します。

改善策を作っただけで「改善した」とも判断しません。

その改善策が新しい問題を作っていないかも確認します。


実際のHWS構造

ここに、現在実際に運用しているHWSの構造図を掲載します。

※ここに先ほどのHWS構造図を入れる

私は専門家ではないため、この構造そのものに設計上の問題がある可能性も含めて公開しています。


実際の使用例:2行のニュースをHWSへ入れる

2026年9月4日、次の短いニュースをHWSへ入力しました。

長期金利低下、一時2.910%
4日の国債市場で、長期金利の指標である新発10年債の利回りが低下し、一時2.910%を付けた。

速報には、なぜ金利が低下したのかという理由が書かれていませんでした。

そこでHWSでは、記事だけから原因を推測せず、続報や外部情報を確認しました。

続報では、

  • 円高によって輸入物価を通じたインフレ圧力が弱まるとの見方
  • 米国の早期利上げ観測後退と米長期金利低下

などが国債の買い材料として説明されていました。


ここで過去ファイルを確認します

HWSには2026年6月11日に登録した

HWS-V-008「日本国債利回り上昇・資金本国回帰ルート」

という候補仮説があります。

大まかには、

日本国債利回り上昇

国内投資家による資金の国内回帰

日本国債への資金流入

円高方向への圧力

という経路です。

今回、

  • 9月1日に10年債利回りが一時3.000%
  • その後9月4日に2.905%付近まで低下
  • 円高
  • 日銀の追加利上げ観測

という、以前の仮説と似て見える現象がありました。

しかしHWSでは、

「以前の予見が当たった」

とは判定しませんでした。


結果が似ていても、経路が同じとは限らない

今回の報道で説明されている金利低下は、

円高

輸入物価を通じたインフレ懸念の緩和

国債買い

長期金利低下

という経路などでした。

一方、V-008で重要なのは、

日本の機関投資家による資金の国内回帰

です。

今回の報道だけでは、誰が国債を買ったのか確認できません。

つまり、

結果の一部が以前の仮説と似ていても、想定した因果経路まで確認できなければ「当たった」としない

という扱いにしています。

V-008は現在も未判定です。


HWSで重要なのは「当てること」だけではありません

私がHWSでやりたいのは、

記事

外部情報確認

過去ファイルとの照合

反対仮説

未確認部分の保持

次に観測する項目を残す

という流れを、AIの1回の会話で終わらせず継続することです。

そして、後から現実が似た動きをしても、

本当に事前に記録されていたのか
元の記事に最初から書かれていたことではないか
因果経路まで同じなのか

を確認します。

AI自身に「予測成功」と最終認定させないようにしています。

最終判断と正本の管理は人間が行います。


1年半使ってきて分かったこと

AIは非常に便利です。

しかし、AIの回答だけを積み重ねても、過去との整合性や、なぜその結論になったのかを長期間追跡するのは難しいと感じました。

そこで私は、

AIを信用できるようにする

のではなく、

AIを完全には信用しなくても使い続けられる仕組みを外側に作る

という方向へ進みました。

それが現在のHWSです。


専門家の方へ

私は研究者でもエンジニアでもないため、これが既存技術では何に相当するのか、自分では判断できません。

外部メモリ、RAG、AIエージェント、agent harness、multi-agent evaluation、human-in-the-loopなどに近い部分があることは知りました。

しかし、

外部ファイルによる継続

構造分析

事前仮説の保存

後日の実測との照合

AI出力監査

失敗からの改善

改善策の再監査

人間による正本管理

という運用全体について、専門家から見てどう評価されるのか知りたいです。

設計上の欠陥、既存研究との重複、検証方法の問題などがあれば教えていただけると助かります。

HWSが新発明だと主張するつもりはありません。

AIを使って失敗するたびに直していたら、1年半でこうなりました。

これが実際に有効なAI利用設計なのか、外から評価していただきたいと思っています。


※HWS全体の設計についての意見交換もQiita上で公開しています。

220ADE3D-8EBB-4349-89E4-EE2B8308438F.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?