横浜で外壁塗装屋をやっている、非エンジニアの記録です。コードはほぼ書けません。実装はぜんぶAI（Claude）に任せました。
…という出だしだと「AIすごい」話に聞こえますが、この記事の主題は逆です。AIと作ったBTCの自動売買botを、僕は実弾を入れる前に「統計で殺し」ました。 その判断の記録です。
TL;DR
- 5年バックテストで PF 1.90 の戦略ができた。数字だけ見れば「行ける」。
- でも ブートストラップ／多重検定／生存バイアス で殴ったら、「勝てると言い切れない」が正体だった。
- だから実弾は入れず畳んだ。エッジは賢さでなく資本サイズに比例する——¥30万は市場に勝とうとする規模じゃない、と数字が教えてくれた。
なぜ塗装屋がこんなことを
本業の効率化でAIを触り倒すうち、「自動売買も検証できるのでは」と。実装は全部AIに投げました。でも「何を疑うか」を決めるのは人間（僕）の仕事で、今回価値があったのは、まさにそこでした。
- 魅力的すぎたバックテスト
戦略（仮に pattern10、BTC/JPY・ダウ理論ベース）の5年成績：
┌────────────────────────┬────────────────────┐
│ 指標 │ 値 │
├────────────────────────┼────────────────────┤
│ プロフィットファクター │ 1.90 │
├────────────────────────┼────────────────────┤
│ 期待値 │ +0.31R │
├────────────────────────┼────────────────────┤
│ 勝率 │ 67.9% │
├────────────────────────┼────────────────────┤
│ 頑健性 │ 7期間中6期間プラス │
└────────────────────────┴────────────────────┘
正直、一瞬「これは行ける」と思いました。ここで立ち止まれたのが、今回の唯一の手柄です。
- AIに「自分を疑わせた」3つの検算
① 2年の好成績を信じない
別銘柄（米国ETF）で試すと、2年で PF1.90 → 5年に伸ばすと PF1.15 まで落ちました。直近がたまたま良かっただけ＝「直近データの罠」。窓を伸ばすと幻が消える。
② ブートストラップで"まぐれ"を測る
5年で取引はたった 28回。この28回の損益を2万回ランダムに取り直し、期待値の信頼区間を出しました。
- 期待値の 95%信頼区間が "マイナス" を含む（プラスと断言できない）
- しかも 利益の53%は上位3トレードだけが稼いでいた。その3つを抜くと、ほぼトントン。
③「何個試して勝ったか」を思い出す
そもそも約28パターン試し、PF最大の1個を選んでいました。28回くじを引いて一番を選べば、まぐれでも良い数字は出る。この補正をかけると、"良さ" は偶然の範囲に消えました。
（おまけ：別案の「モメンタム」を50銘柄で検証した時、等加重ベンチがSharpe1.0超えで明らかに変。今日まで生き残った大型株だけ選んでいた＝生存バイアスでした。これも罠。）
- 結論：エッジは「ある」と証明できない
3つ合わせた正直な答え：この戦略に再現性のあるエッジがある証拠は無い。「負ける」ではなく「勝てると言い切れない」。
なので実弾は入れませんでした。僕がこれに回せるのは¥30万くらい。仮に薄いエッジが本物でも年¥6,000程度で、手間と暴落リスクに全く見合わない。
- 成長記録としての学び
- in-sampleの綺麗な数字を信じない。信頼区間で測る。
- エッジは「賢さ」でなく「資本サイズ」に比例する。 小資金なら、勝とうとせず指数を持って放置が一番強い。
- 一番大きいのは——非エンジニアでも、AIに実装を任せ、ここまで検証できる時代だということ。価値があったのは賢い戦略ではなく、「自分の願望を統計で殴る規律」 の方でした。
- まだ分かってないこと
ブートストラップや多重検定の理屈は、AIに教わりながら追っている段階で、数式をゼロから導けるわけではありません。ここはこれから埋めます。この記事は「専門家の解説」ではなく、塗装屋の実践記録として読んでください。同じ非エンジニアの
誰かの、止まる判断の役に立てば。