AIの嘘・忘却に困った素人が、1年半かけてHWSという継続・監査システムを作りました。この設計は有効でしょうか？
私はAI研究者でも、エンジニアでもありません。
プログラミングやAIを専門に学んできた人間でもなく、いわゆる完全な素人です。
ChatGPTなどの生成AIを普通に使っている中で、何度も同じ問題にぶつかりました。
会話が長くなると以前の重要事項が抜ける。
セッションを跨ぐと継続性が弱くなる。
以前と違うことを、もっともらしく答える。
検索不足や根拠の飛躍が起きる。
間違いを訂正しても、その訂正自体がまた間違う。
後から見ると、まるで最初から分かっていたような説明になることもある。
そこで、その都度AIと一緒に、
「ではどうすれば、この失敗を減らせるのか？」
を考え、記録方法、監査方法、停止条件、ファイル構成などを追加してきました。
最初から大きなシステムを設計したわけではありません。
実際にAIを使う → 失敗する → 原因を調べる → 改善策を作る → また使う → 改善策自体も監査する
ということを約1年半繰り返した結果、現在は、
約4万5千語・16本のMarkdownファイルと、5本のPythonツール
からなる仕組みとして実際に運用しています。
私はこれを、
HWS（箱庭ワールドシステム / Hakoniwa World System）
と呼んでいます。
完成品だとは考えていません。
現在も実運用しながら変更を続けています。
HWSでやっていること
大きく分けると、HWSには2つの役割があります。
- 構造を見て、その先を考える
ニュースを1本ずつ独立して見るのではなく、
金利
為替
国債
資金移動
エネルギー
物流
資源
企業
家計
国家財政
などをつないで、
「これが動いた場合、その次に何が動くのか？」
という経路を考えます。
その時点で考えた仮説やシナリオは、外部ファイルに残します。
後日、新しい現実が出てきたら、当時の記録と比較します。
重要なのは、後から新しい説明を作るのではなく、
「その出来事が起きる前に、実際に何を書いていたのか」
へ戻れるようにしていることです。
- AI自身の出力を監査する
HWSでは、AIが出した分析をそのまま信用しません。
たとえば、
- 必要な検索をしていなかった
- 複数の原因を1つの原因にまとめてしまった
- 証拠より強い結論を書いた
- 過去ファイルを確認せず「記録がない」と答えた
- 訂正した内容にも別の誤りがあった
といった失敗を記録します。
そして、
失敗 → 原因 → 改善策 → 次の運用
へつなぎます。
ただし、改善策を追加しただけで「改善した」とは判断しません。
その改善策そのものが新しい問題を作っていないか、再度監査します。
AIの記憶ではなく、外部ファイルを継続の基準にしています
この仕組みを作った大きな理由の1つが、LLMの会話依存です。
AIが以前の会話を完全に覚えていることを期待するのではなく、
現在位置、仮説、監査結果、失敗、改善履歴、運用ルールなどをMarkdownファイル側へ残す
方式にしています。
そのため、セッションやファイルを跨いでも、過去の状態へ戻って確認できます。
最近、実際にこんなことがありました。
AIが新しくケースA/B/Cのシナリオを作りました。
しかし過去の会話履歴を検索すると、ほぼ同じ形式のケースA/B/Cを数か月前にすでに作っていました。
AI自身はそれを認識していませんでした。
外部の記録があったため、
「これは新しい分析ではなく、以前の分析の再生産だった」
と訂正できました。
「予想が当たった」も簡単には認めないようにしています
HWSでは、過去に登録した仮説と後日の実測も照合しています。
たとえば2026年6月に登録した候補には、
- 金利上昇と住宅負担
- 日本国債利回り上昇と国内への資金回帰
- 円高方向への変化
- 紅海・バブエルマンデブの航行リスク
- 食品価格上昇
- 建築費・維持費上昇による住宅コスト
などがあり、その後に対応して見える現象も複数出ています。
しかし、ここでも単純に、
「HWSが予見した」「当たった」
とは扱っていません。
調べ直すと、仮説の一部が、元になったニュース記事自身の見通しを記録しただけだった例もありました。
その場合、
記事自身の予測が当たったこと
と、
HWSが記事にない構造を事前に組み立て、その後その経路が観測されたこと
は分ける必要があります。
現在は、
「出来事より前に記録されていたか」
だけではなく、
「元記事に書かれていた部分と、HWSが独自に追加した構造を分離できるか」
まで監査する必要があると考えています。
また、未確認の要素が残っている仮説は、後続現象の一部が一致していても未判定のまま残しています。
最終判断はAIに持たせていません
HWSでは、AIが
「これは成功です」
「この仮説は的中しました」
「この改善策は有効です」
と最終決定することを前提にしていません。
AIは分析・検索・比較・監査を行いますが、
どの情報を正式に残すか、どの仮説を採用するか、最終的にどう評価するかは人間が決めます。
私自身が保持するファイルを基準にしています。
AIモデルそのものは交換可能な部品として考えています。
実際にChatGPT、Claudeなどを用途によって使い分け、別のAIから監査させることもあります。
私が専門家の方に聞きたいこと
私は研究者でもエンジニアでもないため、この仕組みを自分で学術的・技術的に評価できません。
似た考え方として、外部メモリ、RAG、AIエージェント、agent harness、multi-agent evaluation、human-in-the-loopなどがあることはAIとの調査で知りました。
しかし、HWS全体が既存技術の何に相当するのか、あるいは単に既存技術を素人が組み合わせただけなのかも、自分では判断できません。
そこで専門家の方に伺いたいです。
約1年半実運用している、このような
外部ファイルによる継続
＋
構造分析と事前仮説の保存
＋
後日の実測との照合
＋
AI出力の監査
＋
失敗ログからの改善
＋
改善策自体の再監査
＋
複数AIによる相互確認
＋
人間による正本管理と最終判断
というAI利用設計には、実際に意味があるのでしょうか？
特に知りたいのは次の点です。
-
既存の研究・システムでは、何に最も近いでしょうか？
-
この設計には、専門家から見ると明らかな欠陥や危険がありますか？
-
本当に有効か検証するなら、どのような実験をすればよいでしょうか？
-
AIを直接改造せず、外側のファイル・監査・運用ルールによって継続性と信頼性を上げようとする方法には、研究・実用上の価値がありますか？
-
もし技術的に検討する価値があるなら、次に何を公開すれば評価しやすいでしょうか？
構造図、Markdown、Pythonツール、失敗ログ、過去仮説、比較実験など、どれが必要でしょうか？
私は「HWSは新発明です」と主張したいわけではありません。
また、「予見が当たった」「AIが賢くなった」と自分で認定したいわけでもありません。
単純に、
AIを使って失敗するたびに仕組みを直していたら、1年半でここまで大きくなりました。
私にはこれが本当に有効な設計なのか判断できません。
専門家の方から見ると、これはどういうものなのでしょうか？
という質問です。
設計上の穴、既存研究との重複、測定方法の間違いなども含めて、ご意見をいただければありがたいです。
参考として、現在実際に運用しているHWSの構造図を掲載します。私は専門家ではないため、この構造自体にどのような問題があるかもご意見をいただきたいです。
実際の使用例：2行のニュースをHWSで分析するとどうなるか
2026年9月4日、次の短いニュースをHWSへ入力しました。
長期金利低下、一時2.910％
4日の国債市場で、長期金利の指標である新発10年債の利回りが低下し、一時2.910％を付けた。8月28日以来、1週間ぶりの水準。
元の速報には、なぜ長期金利が低下したのかという理由が書かれていませんでした。
そこでHWSでは、記事だけから原因を推測して埋めず、続報や外部情報を確認しました。
HWSで確認したこと
続報では、主に次の要因が国債の買い材料として説明されていました。
- 円高によって、輸入物価を通じたインフレ圧力が和らぐとの見方
- 米国の早期利上げ観測が後退し、米長期金利が低下したこと
一方、原油価格は供給不安から上昇しており、インフレ要因としては逆方向の材料も存在していました。
HWSでは、こうした複数の要因を一つにまとめず、並行して残します。
過去に登録した仮説とも照合する
HWSには、2026年6月11日に登録した
「HWS-V-008 日本国債利回り上昇・資金本国回帰ルート」
という候補仮説があります。
この仮説では、おおまかに、
日本国債利回りの上昇
↓
日本の機関投資家による海外資産から国内への資金回帰
↓
日本国債への資金流入
＋
円高方向への圧力
という経路を候補として残していました。
今回確認された動きには、
- 9月1日に10年債利回りが一時3.000％まで上昇
- その後、9月4日に一時2.905％まで低下
- 9月3日に大幅な円高
- 日銀の追加利上げ観測
など、V-008と対応して見える要素があります。
しかし、ここでHWSは
「以前の仮説が当たった」
とは判定しません。
結果が似ていても、因果経路が同じとは限らない
今回の報道で説明されている長期金利低下の経路は、
円高
↓
輸入物価を通じたインフレ懸念の緩和
↓
国債買い
↓
長期金利低下
という経路と、
米国の早期利上げ観測後退
↓
米長期金利低下
↓
日本国債の買い材料
という経路でした。
一方、V-008で重要なのは、
日本の機関投資家による資金の国内回帰
です。
今回の報道だけでは、実際に誰が国債を買ったのかは確認できません。
つまり、
円高と国債利回り低下という「結果」は似ていても、V-008で想定した因果経路まで確認されたわけではない。
という扱いになります。
そのため、HWSではV-008を現在も未判定のまま残しています。
反対仮説も残す
HWSでは、仮説に都合のよい材料だけを集めないようにしています。
今回については、
- 8月にも金利上昇後の買い戻しで一時的に利回りが低下した例がある
- 今回も単なる短期的な買い戻しの可能性がある
- 米国側の金利低下という外部要因が主因である可能性もある
- 日本国債利回りの上昇自体が一時的に終わる可能性もある
という反対側の経路も残しています。
確認できなかったことも残す
今回の分析では、次の項目は確認できていません。
- 当日の投資主体別の国債売買
- 2年債と10年債のスプレッド
- 20年債・30年債のその後の動き
- GPIFなど国内機関投資家の実際の資産配分変更
HWSでは、こうした未確認部分を推測で埋めず、そのまま残します。
次に何を見るか
この仮説の判定を進めるため、HWSでは次の観測点を残しました。
- 投資主体別の国債売買
- 日銀会合後の金利動向
- 10年債利回りが再び3.000％を超えるか
- GPIFなど国内機関投資家の実際の資産配分
- 円相場と国債利回りの関係
この例でHWSがやっていること
私がHWSに求めているのは、単にニュースを詳しく説明することではありません。
記事
↓
外部情報を確認
↓
過去ファイルに残した仮説と照合
↓
反対仮説も確認
↓
確認できない部分を残す
↓
次に何を観測するか決める
という流れを、会話やファイルを跨いで継続することです。
また、後から現実が以前の仮説と似た動きをしても、
結果が似ているだけで、想定した因果経路が確認できなければ「当たった」としない
という監査も行っています。
※上記は、実際のHWS分析出力をQiita掲載用に短縮したものです。元の出力では、事実・観察・評価・推定、反対仮説、未確認項目、次回の観測点まで分けて記録しています。