AIが生成する投資戦略は本物か？ ――試される「疑う力」と見極める目――

---

はじめに

フロンティアAIが高度に発展したことで、「投資戦略」を生成すること自体は、今や極めて容易になった。

しかし、果たしてこれらの戦略はどこまで信頼できるのか。市場の変化に耐えうる「壊れにくい戦略」と言えるのか。

いま求められているのは、AIが提示した投資戦略を無批判に受け入れない「疑う力」と、本物を見極めるための確固たる方法論である。

この記事では、その方法論を4つの疑いと4つの段階に整理する。

結論を先に

AIが作った好成績のバックテストは、検証の結論ではなく出発点である。

確認すべきは3点。①別の要因で説明できないか、②検証条件を変えても残るか、③実際に売買しても利益が残るか。

検証の目的は「本物のAlphaだ」と証明することではない。反証を重ね、それでも残った戦略について、次にどこまでリスクを取るかを判断することである。

この記事では、市場全体や既知のリスク要因では説明しきれない超過収益を、便宜上「Alpha」と呼ぶ。

1. AIが出したのはAlphaか、それとも「良いバックテスト」か

まず、次の場面を想像してほしい。

AIに投資戦略を考えさせ、コードを書かせ、バックテストを実行した。成績は良好だった。損失が大きかった時期を指摘すると、AIは条件を追加して改善してくれた。最後には、魅力的な運用成績と、その戦略が機能する理由までそろった。

この戦略に、自分のお金を入れられるだろうか。

この記事が扱うのは、「もっと良い戦略を作れるか」ではなく、「今ある戦略を、どこまで検証すべきか」である。

この問いはAI以前から存在していた

金融研究の世界では、AI以前から似た問題があった。Avanidhar Subrahmanyam は2009年のレビューで、株式のリターンを予測するために使われてきた変数を50種類以上、文献から整理している¹。

論文URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1461185

ただし重要なのは、その数ではない。50を超える予測変数が報告される一方で、変数間の相関、コントロールの取り方、分析方法の違いが十分に整理されておらず、どの効果が本当に頑健なのかを判断することが難しい、というのが著者の問題提起である。約25年にわたる実証研究を積み上げても、そこは簡単には整理できていない。後年、この状況は「ファクター・ズー（factor zoo、要因の動物園）」と呼ばれるようになった。

AIが数時間で数百の戦略候補を生成できる環境で、同じ問題が起きないと考える理由はないと思っている。AIがしたのは、この探索プロセスを超高速化したことである。

「良い結果が出た」と「投資可能な優位性が確認できた」の間には、まだ検証すべきことがある。

本物を見極める「4つの疑い」

以降は、AIが出した戦略候補を4つのフィルターに順に通していく。新規性、頑健性、実行可能性、そして探索バイアスである。

2. 第1の疑い：その利益は単なる「既存ファクター」の言い換えではないか

ここで確認するのは一つだけである。その利益を、もっと単純な理由で説明できないか。

• 単なるモメンタムではないか
• 小型株への偏りではないか
• 特定業種への集中ではないか
• 流動性の低い銘柄を持った対価ではないか
• 市場Betaを多めに取っただけではないか

AIが「価格・出来高・投資家心理を統合した独自スコア」を提案したとする。説明は洗練されていてコードも動く。しかし、そのスコアで選ばれる銘柄が単純なモメンタム戦略とほぼ同じなら、新しいのは名前だけである。

同じ現象に複数の説明が競合するのは、学術研究でも日常的に起きている²。また、多くの研究がサイズ・簿価時価比率・モメンタムをコントロールする一方、流動性のコントロールを使う研究は稀であることも指摘されている³。

実際にやること

AI戦略と単純戦略を並べて比較する。

• リターン系列（相関を数値で出す）
• 保有銘柄（重複率）
• 売買タイミング
• 業種・時価総額・流動性の分布

そして ablation（アブレーション、除去実験） を行う。もともと機械学習で使われる言葉で、モデルの構成要素をあえて取り除き、その部分が本当に性能に寄与していたかを測る手法である。

戦略なら、AIが追加した条件を1つずつ外して、バックテストをやり直す。外しても成績が落ちないなら、その条件は装飾である。逆に、条件を1つ外しただけで崩れるなら、その1本に依存しすぎていないかを疑う。

ここで気をつけたいのは、「既知の効果だったから無価値だ」と決めつけないことである。新規性と投資価値は別の評価軸だと考えている。既存の考え方を低コストで安定的に実装できること自体には、運用上の価値がある。

新しい名前、新しいコード、新しい説明は、新しいAlphaの証拠ではない。

3. 第2の疑い：測り方を変えても、そのAlphaは残るのか

論文との接続が最も強いのがここである。

Subrahmanyam は、同じ問いに対して研究者ごとに回帰分析とポートフォリオソートが使い分けられ、リスク調整の方法も揃っていない一方で、手法をまたいだ頑健性の確認がほとんど行われていないことを問題にしている。企業統治の質とリターンの関係を報告した研究が、後続研究から業種コントロールの取り方に敏感だと指摘された例も挙げられている⁴。

これは「元の研究が誤りだった」という話ではない。結論が検証方法に依存し得るという例として読むべきだと考えている。

実際にやること

条件を変えた結果を、1枚の表に並べる。

• 評価期間をずらす（開始・終了、サブ期間分割）
• ユニバースを変える
• ベンチマークを変える
• 配分方法を変える（等加重／時価総額加重／リスク加重）
• パラメータを少しずらす
• Sharpe以外も見る（MaxDD、勝率、テイル）
• 市場局面を分ける

特に見たいのが パラメータの崖（Parameter Cliff） である。最適値では良好なのに、隣の値にずらした瞬間に成績が垂直に落ちるなら、それは頑健な水準ではなく、たまたま当たった1点である。

どの条件でも同じ収益を要求するわけではない。

最高成績を見るのではなく、条件を少し変えたときの「壊れ方」を見る。

特定の市場や局面を狙う戦略なら、その適用範囲は先に決めておく。「他の市場では効かなかった」だけで棄却するのでも、「効いた市場だけを後から選ぶ」のでもない、という整理である。

4. 第3の疑い：その利益は「自分の口座」で受け取れるのか

ここは独立して扱う。統計上の結果と、運用上の成立性は別物だからである。

• スプレッド（実効スプレッド）
• スリッページ
• マーケットインパクト
• 板の厚み、ADVに対する想定資金量の比率
• 空売りの実行可能性と借株コスト
• シグナル発生時点と約定価格の時間整合性

これは「最後に手数料を引けば済む」話ではない。売買スプレッド等に由来する微細な価格変動は、計算されたリターンそのものを上方に歪め、予測回帰の結果の解釈まで難しくする⁵。

そのうえで、取引条件をやや不利にしたときの感応度を出す。スプレッドを1.5倍・2倍にして期待値が消えるなら、それは計算上の利益でしかない。

バックテストで存在する利益と、約定後に残る利益は違う。

5. 第4の疑い：何回試したのか分からなくなる

ここからはSubrahmanyam論文の守備範囲を超える。AI特有の罠である。

よくある場面はこうだ。バックテスト結果をAIに渡し、「2022年の損失を減らして」と修正させる。AIは条件を追加し、成績は改善する。改善したので、また結果を渡す。

このとき起きているのは、コードの変更だけではない。評価結果が次の戦略設計に戻っている。

ここで、前提になる言葉を2つだけ整理しておく。

• IS（In-Sample）：戦略を作るときに見たデータ。パラメータを決め、条件を足すのに使った期間。
• OOS（Out-of-Sample）：戦略を作るときに一度も見ていないデータ。

バックテストが信用できるかどうかは、ほぼこの線引きで決まる。ISでの好成績は、条件を足していけばいくらでも作れるからである。そして、この線は一度しか使えない。

2022年の損失をAIに見せて2022年に強くした瞬間、2022年はもうOOSではない。

この繰り返しは 汚染ループ（Contamination Loop） と呼べる構造になっている。回すたびに成績は良くなり、同時に、検証に使える未使用データは減っていく。

大量探索と選択による過学習については、Bailey, Borwein, López de Prado, Zhu の PBO（Probability of Backtest Overfitting、バックテスト過学習の確率） 研究が正面から論じている。

PBOは、一言でいえば次の確率である。

PBO ＝「バックテストで一番良かった戦略が、別の期間では平均以下に落ちる確率」

手順もそれほど難しくない。データを複数の期間ブロックに分け、半分をIS、残り半分をOOSとする。ISで最も成績の良かった戦略を1つ選び、その戦略がOOSで全候補の中央値より下に落ちるかを見る。これをISとOOSの分け方を変えて何通りも繰り返し、落ちた割合を数える。それがPBOである。

ここで測っているのは、個々の戦略の良し悪しではなく、「一番良いものを選ぶ」という行為そのものの信頼性だという点が重要だと考えている。PBOが50%に近ければ、バックテスト1位を選ぶことに、コイン投げ以上の意味はなかったことになる。

筆者の過去実験でも、144候補からISで選択した戦略の平均Sharpeは0.75だったが、OOSでは0.12まで低下した。

コラム：144戦略の簡易PBO実験の詳細

USDJPY 60分足に対し、移動平均クロス144候補を簡易CSCVで評価した。IS平均 Sharpe 0.7474 に対し OOS平均 Sharpe 0.1187。簡易PBO自体は 5.71% と低かったが、OOS損失確率は 35.71% だった。

144候補という、AI時代の基準ではごく控えめな探索でもこれである。PBOは順位ベースの指標（中央値より下に落ちたか）、OOS損失確率は損益ベースの指標（そもそも負けたか）なので、両者は別のことを測っている。確認したいのは数値の大小ではなく、「PBOが低い＝安全」ではないこと、そして探索回数を記録していなければどの数値も解釈できないことである。

なお Bailey らは、PBOを戦略選択の目的関数にすることを誤用として明確に警告している。検査値が良くなるまで修正を繰り返せば、検査そのものが無意味になる。

実際にやること

失敗した仮説も含めて、探索履歴を残す。記録はこの粒度で十分である。

strategy_log.yaml

strategy_id: ai_momo_v7
parent: ai_momo_v6
change: "2022年のDDを受けてボラフィルタ追加（AIに修正依頼）"
trigger: "OOS期間の評価結果を見た後の変更"   # ← ここが重要
evaluation_data_used: ["2015-2021 IS", "2022-2023 (設計に流入)"]
still_unseen: ["2024-2025"]
trials_to_date: 47

trigger と still_unseen の2行があるだけで、「どこでOOSが壊れたか」と「まだ手を付けていないデータはどこか」が一目でわかる。評価結果を見た後に変更したものは、別バージョンとして試行回数に数える。

戦略の最終版だけでなく、その戦略が選ばれた過程を検証する。

6. では、どこまで検証すればよいのか

ここまでの4つの疑いを、1枚に整理しておく。重要なのは、それぞれに棄却基準を先に持っておくことである。

そのうえで、「検証手法を全部実施したら合格」という基準は作らない。Subrahmanyam論文の結論自体が、万能な合格基準ではなく問題提起だからである。

代わりに、段階的な意思決定として整理する。

Stage 1　研究候補
別の単純な説明では片付けられないかを確認する。
→ この段階では、好成績が将来も続くとは言えない。

Stage 2　検証候補
期間・条件・パラメータを変えても、投資判断が簡単には逆転しないことを確認する。
→ この段階でも、本物のAlphaだと確定したわけではない。

Stage 3　限定運用
設計に使っていないデータ、Dry Run、少額Liveで、実運用との差を見る。
→ この段階でも、損失が起きないとは言えない。

Stage 4　拡大／継続／停止
事前に定めた基準と実績を比較する。
→ この段階でも、今後の市場変化に耐え続けるとは言えない。

判断基準は、結果を見る前に決める

• 必要な追加収益（何に対して、どれだけ上回れば採用か）
• 許容するリスクと費用
• 想定する適用範囲
• 停止・再評価の条件

後から決めれば、結果を見てから合格基準の方を動かすことになる。これは検証の形をした自己正当化である。

そして、採用／棄却だけではない。「まだ分からないので保留する（Hold）」があってよい。

「何年検証すれば十分」「Sharpeがいくつなら合格」といった一律の数値は、この論文の裏付けとしては提示できない。論文が示しているのは、むしろそういう単一基準が成立しにくい状況の方である。

まとめ：AIを反証役にも使う

AIは戦略を作るだけでなく、反証候補を洗い出すためにも使える。依頼の形を変えるだけでよい。

悪い質問

「Sharpeをもっと上げて」

良い質問

「この利益を、もっと単純な要因で説明できないか」
「この戦略が最も壊れやすい条件を列挙して」
「この仮説を棄却するには何を検証すればよいか」

つまり、AIを 悪魔の代弁者（Devil's Advocate） として使う。ただし、AIが作った反論も、それ自体は証拠ではない。検証項目を作るために使い、判断はデータと実装と検証履歴に戻して下す。

---

AIによって、投資戦略を作ることは簡単になった。しかし、良いバックテストを作ることと、Alphaを見つけることは同じではない。

違いを生むのは、AIの性能ではなく、その後に何をするかである。

• AIの生成力 ＋ 無批判な受容 ＝ 脆弱な錯覚（Fragility）
• AIの生成力 ＋ 厳格な反証プロセス ＝ 投資可能な優位性（Investable Edge）

確認すべきなのは、別の要因で説明できないか。条件を変えても残るか。実際に売買しても残るか。

そしてもう一つ。その戦略にたどり着くまで、何回試したのか。

AIが示した最高成績より重要なのは、どこまで疑って、それでも何が残ったかである。

本記事の根拠と限界

主たる根拠は Avanidhar Subrahmanyam のレビュー論文（2009年9月16日版）である。適用範囲を明示しておく。

• 対象は主として米国株（NYSE-Amex-Nasdaq）のクロスセクション、すなわち銘柄間の期待リターンの差である
• 予測ホライズンは月次以上であり、短期のマイクロストラクチャ由来の予測可能性は明示的にレビュー対象外とされている
• 生成AIによる戦略開発を検証した論文ではない

したがって本記事の4つの疑いとStage分けは、論文の問題意識を踏まえた記事側の提案である。論文がそれらを推奨しているわけではない。第4の疑い（PBO）に関する部分も同論文の守備範囲外であり、Bailey らの研究を補助根拠としている。

参考文献

• Subrahmanyam, A. (2009). The Cross-Section of Expected Stock Returns: What Have We Learnt from the Past Twenty-Five Years of Research? https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1461185
• Bailey, D. H., Borwein, J. M., López de Prado, M., & Zhu, Q. J. (2014). The Probability of Backtest Overfitting. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2326253
• Bailey, D. H., & López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5).
• López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley.

1. 予測変数の動機は、ウォール街の経験則（バリュー投資など）、リスク・リターン理論の変種、投資家の行動バイアス、流動性制約などの市場摩擦、の4つに分類されている。なおレビュー対象にはworking paperやforthcomingの論文も含まれる。 ↩

2. 例えば Jegadeesh (1990) が示した1か月の短期リバーサルについて、Cooper (1999) や Subrahmanyam (2005) は投資家のオーバーリアクションを原因と見るが、Avramov, Chordia, and Goyal (2006) は流動性に起因する価格反転で一部が説明できる可能性を指摘している。また、情報の非対称性の尺度として提案された PIN は、Duarte and Young (2009) が成分分解したところ、価格付けされていたのは情報成分ではなく流動性取引の成分だった。 ↩

3. 資産成長率とリターンの関係を報告した Cooper, Gulen, and Schill (2008) が、市場摩擦のコントロールを使っていない例が挙げられている。 ↩

4. Gompers, Ishii, and Metrick (2003) に対し、Johnson, Moorman, and Sorescu (2009) が業種コントロールの取り方に結果が敏感だと指摘した事例。論文はさらに、ファクターローディングをローリング推定するか全期間推定するか、条件付きベータを使うかどうかといった選択が、そのまま「何が頑健な予測変数かの理解を妨げる自由度」になっていると述べている。 ↩

5. Blume and Stambaugh (1983) がマイクロストラクチャ・ノイズによるリターンの上方バイアスを示し、Brennan and Wang (2009)、Asparouhova, Bessembinder, and Kalcheva (2009) が、説明変数がノイズと相関する場合に予測回帰の解釈が難しくなることを論じている。 ↩