拡散モデルに学んで、反復的洗練フレームワーク「思考の拡散（DoT）」を考えてみた

Last updated at 2025-09-24Posted at 2025-09-24

皆さんAIは使っているでしょうか？
私はAIの文章が崩壊するくらいにコンテキストがパンパンになるまで使っています。

最近のLLMはどんどん進化して、検索、文章生成、プログラミング支援など、幅広く活用されていますよね。
しかし、やはり複雑な問題や創造的タスクではまだ限界を感じます。

コードを書いてもらったらうんコードが出力されたり...

そこで、新しい枠組みとして思考の拡散（Diffusion of Thoughts; DoT）を提案します。

これは、画像生成で使われる「ノイズ除去プロセス」を推論に応用し、思考を反復的に修正・洗練する方法です。

この頃の商用AIの多くは、Chain of Thought (CoT) を推論に使っていますよね。
でも、CoTは線形展開に依存していて、以下の課題があると思います。

まるで「一本道の迷路」を進むようで、一度道を誤ると引き返せない、そんな不自由さを感じますね

DoTはこのCoTの課題を克服するために、推論を反復的な精練の過程として実行させます。

拡散モデルは、完全なノイズから始め、少しずつ不要な成分を取り除き、高品質な画像を生成する。
DoTも同様に、最初は曖昧で不完全な思考から始め、批評と修正を繰り返すことで、一貫性のある答えを浮かび上がらせる仕組みを真似しています。

これは、人間が下書きを作り、推敲を重ねて完成度を高める感覚に近いものだと思います。

拡散モデルは、

そして、今回非常に重要なのは、誤差が初期に含まれても、後のステップで修正可能である点です。

画像生成で用いられるCFGは、条件付き生成と条件なし生成を組み合わせて、生成のバランスを調整しているらしいです。

DoTもこの考えを応用します。

このようにして、両者をパラメータ w によって統合して、思考をより適切な方向へ導くことで素晴らしい結果を生成する！

DoTの仕組みは以下のように表せます。

初期化：曖昧で粗い思考（初稿）を生成する
反復プロセス
- 批評を生成し、欠点や改善点を指摘
- 無条件改善で全体を整える
- 条件付き改善で具体的修正を行う
- 2つを統合して新しい思考を更新
最終化：十分な反復を経て、完成度の高い答えを出力させる

さて、ここでDoTはホンマに効果あるんか？と思う人もいるでしょう。

一度このDoTと他のCoT,ToTなどと比較してみようと思います。

〜CoTとの比較〜
CoTは直線的に思考するため、誤りに弱いが、DoTは自己修正を繰り返せるため頑健と言える！はず。。。
〜ToT（Tree of Thoughts）との比較〜~
ToTは探索的で幅広い選択肢を扱える。一方DoTは、一つの答えを「磨き上げる」点に特化しているので、両者はお互いの弱みを補い合えると考えられる。組み合わせて使用したら面白いかもしれない。

さてはて、ここまでDoTのアイデアと魅力を語ってきましたが、当然ながら問題点もあります。
軽く実装して試してみましたが、以下のような問題点が確認できました。

しかし、これらのほとんどがアルゴリズムの改良と、プロンプトの改良でなんとかなると思います。

せっかく考えたアイデアなので、実用に耐える形まで引き上げたいと思います。
今後は以下に注目しながら実装・検証を進めようと思います。

実際にGemini-2.5-flash-liteを使い、簡単な実験を行いました。
数学オリンピックの問題をGoogle AI Studio上で、Thinking ModeとDoTでそれぞれ解かせて比較しました。

結果、Thinking Modeは正答に至りませんでしたが、DoTは途中で批評を生成し誤りを修正、最終的に正確な回答へ到達しました。

DoTは、従来のCoTなどでは難しかった「途中での軌道修正」を可能にし、より柔軟で信頼性の高い推論を実現できると思います。

是非興味があれば皆さんも実装して試してみてください。