はじめに
新しい予測モデルを作り、バックテストの成績もよかった。ところが、既存の戦略と組み合わせても、ほとんど改善しない。
別のモデルを作ったつもりでも、実は同じ情報に反応し、同じ局面で利益を出し、同じ局面で損をしていた。そんな可能性がある。
問うべきは「このモデルは当たるか」だけではない。**「すでに持っている戦略に、何を足すのか」**である。この記事では、Numerai(ヌメライ)の評価制度と公開研究を手がかりに、その考え方を整理する。
想定読者
売買ルールや予測モデルを作り始め、「バックテストで良かったものを、どう評価すればよいのか」と悩んでいる人に向けて書いている。
3行でまとめると
- Numeraiの報酬は、単体の予測力に加えて「みんなの予測にない部分が、実際に当たったか」で決まる
- この制度は、「バックテストの好成績を、そのまま信じない」ための考え方の宝庫である
- 個人のクオンツトレーダーが持ち帰れるのは、アルファではなく「検証と資金配分の作法」
Numeraiとは(1分で)
Numeraiは、世界中のデータサイエンティストから株式の予測を集めて運用する米国のヘッジファンドである。
- 参加者は配られたデータで予測を作り、提出する。本番の提出ラウンドは火曜〜土曜の毎日開かれる
- 自信があれば仮想通貨NMRを賭ける(ステーク)。成績が良ければ増え、悪ければ減る
- 全員の予測を賭け金で重み付けして合成したもの(メタモデル)が、実際の運用に使われる
2025年には、JPMorganがNumeraiに最大5億ドルの運用枠を確保したと公式に発表されている。
何を予想しているのか
よく誤解されるが、SPY(S&P500指数)のような指数が上がるか下がるかを当てる競技ではない。問われているのは、次のような問いである。
「この先約3か月(60営業日)で、この銘柄は、同じ時点の他の銘柄と比べてどれくらい強いか?」
| 項目 | 中身 |
|---|---|
| 対象 | 世界の株式、数千銘柄。ある時点の全銘柄のデータを1まとまり(era)として扱う。学習用の過去データは週1回(金曜)ごと、本番のeraは1日ごと |
| 入力 | 銘柄ごとの特徴量。中身は伏せられており、どの列が何の指標かは分からない |
| 出力 | 各銘柄に 0〜1 の数字を付ける。0=最も弱い、0.5=平均、1=最も強い |
| 答え | 約60営業日後の、その銘柄固有のリターン。市場全体・国・業種・よく知られたファクターで説明できる部分は引き算されている |
| 採点 | 自分の予想の並び順と、実際の答えの並び順がどれだけ一致したか(相関スコア) |
予測期間は2026年8月28日から約60営業日。それ以前は約20営業日(約1か月)が採点対象だった。
たとえば、銘柄Aに0.92(他より強そう)、Bに0.50(平均並み)、Cに0.08(他より弱そう)と付けたとする。3か月後に相場全体が暴落していても、**Aの下げが小さく、Cの下げが大きければ「当たり」である。当てるのは「銘柄どうしの相対的な強さ」**だけである。
相関スコアは「正解率」ではない。 上位の参加者でも相関スコアは0.01〜0.03程度である。「正解率2%」という意味ではなく、予想の並び順と実際の並び順に、わずかだが安定した一致があるという意味である。
この記事の立場
公開情報から、上位者の勝因を一つに特定することはできない。上位者の詳しいパイプラインの多くは、本人の一次情報で確認できないからだ。
ただし、Numeraiの評価制度と参加者の研究記録を読むと、モデルの単体性能だけでなく、既存予測への追加貢献、時間をまたいだ安定性、検証方法が重要であることが分かる。本記事では、それらを5つの原則として整理する。
上位者は何を狙っているのか
上位者は市場(相場全体の上げ下げ)を当てにいっていない。 ルール上、市場全体の動きは答えから引き算されているので、当てにいっても点にならない。狙っているのは「銘柄どうしの相対的な強さ」であり、さらに言えば**「みんなの予想(メタモデル)にまだ入っていない部分」**である。
公開情報や研究記録で見られる手法は、意外なほど地味だ。
| 要素 | 見られる手法 | 対応する原則 |
|---|---|---|
| モデル | LightGBM・XGBoost・CatBoostなどの木系モデルが中心。データが5段階に丸められているため、木系と相性が良いとする研究がある | 原則1 |
| 特徴量の絞り込み | 数千ある特徴量を、重要度やSHAP(各特徴量の寄与を測る手法)で絞る | 原則1(過適合に注意) |
| ベンチマークとの差分 | 公式ベンチマークモデルの予想を入力に加え、「ベンチマークとの差」を学ぶ。公式の提出環境も、ベンチマークの予想を受け取れる形になっている | 原則2 |
| 複数のターゲット | 本番のターゲットに加え、性質の異なる補助ターゲットでも学習して混ぜる | 原則4 |
| 中立化 | 予想が特定の特徴量に偏りすぎないよう、その特徴量で説明できる部分を一部引き算する。公式にもチュートリアルがある | 原則4 |
| 再学習 | 最新のデータで定期的に作り直す | 原則3 |
| 変種の並走 | 設定違いのモデルを複数提出し、ライブ成績を比べる | 原則5 |
具体的な参加者の事例と、確認できた範囲は付録Aにまとめた。
核心:相関スコアとMMC
一般的な機械学習のコンペは、単体の予測精度で順位が決まる。Numeraiはそれに加えて、MMC(メタモデル貢献度)、つまり「みんなの予測に含まれていない部分が当たったか」を評価する。
ただし、報酬は相関スコアとMMCの合計で決まる。単体の予測力を捨ててよいわけではない。この点は原則2で数字を使って確かめる。
原則1:何を当てれば評価されるのかを、最初に確認する
Numeraiの予測対象は、市場全体・国・業種・よく知られた要因で説明できる部分を引き算した残りである。データの中身は伏せられ、銘柄のIDも時点ごとに振り直される。金融の知識では差がつかないように作られており、勝負は「時代が変わっても崩れない統計的な強さ」に絞られている。
見落としがちなのは、答え合わせの回数である。学習用のeraは約1,200週分あるが、予測対象は約12週先のリターンなので、隣り合う週の答えは大きく重なっている。1,200週を12週ずつに区切ると、重ならない区間は約100個になる。これは独立なサンプル数の厳密な推定ではないが、1,200回の独立した試験があるとは考えられないことは確かである。
少ない答え合わせで何百通りも設定を試せば、たまたま良く見えるものは必ず見つかる。上位者の一人ShatteredX氏も、特徴量を絞って成績が上がったと報告しながら、「検証データに過適合している」と自ら認めている。
先の答えが混ざらないように分ける。 60営業日先を予測するなら、検証を始める時点でまだ答えが出ていなかったデータを、学習に入れてはいけない。Numeraiの公式ドキュメントも、ターゲットの期間が重なるため、交差検証には特別な注意が必要だとしている。
原則2:単体の予測力だけでなく、既存予測への追加貢献を見る
MMCは「独自性」そのものではない。他人と違うだけのランダムな予測には価値がない。評価されるのは、既存の予測に含まれていない部分が、実際の結果を説明している場合である。
スライドの近似式に、2026年8月以降の報酬式「相関スコア×3 + MMC×15」を当てはめると、次のようになる(みんなの相関スコアを0.020と仮定)。
| モデル | 相関スコア | 類似度 | MMC | 報酬式の値 |
|---|---|---|---|---|
| みんなのコピー | 0.020 | 1.0 | 0.000 | 0.060 |
| 優等生だが似ている | 0.020 | 0.9 | 0.002 | 0.090 |
| 控えめだが独自 | 0.010 | 0.3 | 0.004 | 0.090 |
近似式による例示。実際の相関スコアには独自の変換が入り、MMCも厳密にはこの式と一致しない。
コピーは相関スコアが同じでも報酬が最も低い。一方、単体の相関スコアが半分でも、メタモデルにない予測力を持つモデルは、優等生と同じ評価に届く。「当てる」だけでは足りないが、「当てる」を捨ててもいけない。
「市場全体で合計すれば、平均に勝つ人と負ける人の差し引きはゼロになる」という「アクティブ運用の算術」(Sharpe, 1991)とも、みんながすでに知っていることを当てても差はつかないという点で、発想はよく似ていると考えている。
原則3:予測力と追加貢献の劣化を、分けて監視する
図は考え方を示す模式図であり、実データではない。
ある参加者(svendaj氏)が約1年かけて、毎週作り直すモデルと、作り直しをやめたコピー12本を並走させた。約5か月後からコピーの成績が落ち始め、落ちたのは主にMMC(追加貢献)のほうだった。
筆者はこう解釈している。古いモデルの予測力はしばらく残るが、その間に他の参加者は新しいデータで学び直し、古いモデルが知っていたことを取り込んでしまう。結果、古いモデルは**「正しいが、もう珍しくない」**状態になる。
ただし、これは一人の実験である。10か月作り直していないのに好成績だったモデルも報告されており、「月1回以上の再学習が必要」とまでは一般化できない。自分の戦略では、複数の更新頻度や学習期間を並走させて比べるのが現実的だと考えている。学術研究(Wong & Barahona, 2023)でも、学習期間の違うモデルを均等に混ぜるのが頑健だという結果が出ている。
原則4:モデル名ではなく、予測と損益の違いで分散を確かめる
公開された研究記録では、木系モデルの種類を増やしても、予測どうしの相関は0.81〜0.94と高く、ほとんど分散にならなかった。違いを生みやすいのは、特徴量のグループ・ターゲット・学習期間といった入力側である。ただし、本当に違うかどうかは、予測や損益の相関を実際に測って確かめる。
Wong & Barahona(2023)は、複数モデルの予測のばらつきを「意見の不一致」とみなして追加のシグナルにし、相関スコアの安定性を改善した。
読み方に注意したい点
- 論文の最大ドローダウンやシャープレシオは、相関スコアの累積から計算したもので、実際の売買損益ではない
- 混ぜ方のルール自体が同じデータで作られているため、結果は出来すぎだと考えている
- 「意見が割れたらポジションを縮める」という単純なルールを、直接裏付ける研究でもない
なお、メタモデルでさえ2023年の下落局面では相関スコアがマイナスになり、報道によればNumeraiのファンドは同年に約17%の損失を出している。群衆の知恵でも、相場の局面転換からは逃れられない。
原則5:検証と資金配分を分け、事前の基準で段階的に進める
Numeraiでは、賭けていない予測はメタモデルにまったく使われない。参加者は「予測を作る」ことと「いくら賭けるか」を、別々に判断している。
| BGUBERFAIN | SHATTEREDX(モデル) | |
|---|---|---|
| 評価 | 2025年グランドマスター | 大口ステーカー |
| 賭け金 | 約370 NMR(12モデル合計) | 73,379 NMR |
| 1年のステーク収益率 | 主力2モデルで77.2%、69.1% | 20.6% |
2026年9月30日時点の公開プロフィールより。ShatteredX氏は複数モデルを持つ可能性がある。過去1年の大半は、2026年8月以前の旧ルール(20営業日)の期間である。
3つの成績表を混同しない。 上の収益率はNMR建てのステークの増減であり、株式を売買して77%儲けたという意味ではない。Numeraiには、①予測の相関スコア、②NMR建てのステーク収益、③ファンド自体の運用成績という、別々の成績表がある。
グランドマスターの称号は、賭け金の大きさではなく、ステーク加重したスコアのシーズン平均で決まる。BGUBERFAIN氏は「率」の上位、ShatteredX氏は「規模」の上位である。BGUBERFAIN氏のアカウントに変種モデルが並び、賭け金が小さいことは、「少額で多数を試す」運用と整合的だが、資金配分の履歴は確認できていない。
個人の運用への教訓は、「効くか」の検証と「いくら賭けるか」の判断を分け、増やす基準は結果を見る前に決めておくことだと考えている。
5つの原則のつながり
5つの原則は、別々のテクニックではない。答え合わせの回数を正しく数え(原則1)、単体と追加貢献の両方で測り(原則2)、その劣化を見張り(原則3)、分散を実測で確かめ(原則4)、資金は事前の基準で動かす(原則5)。どれか一つが欠けると、ノイズを信号と取り違えやすくなる。
個人のクオンツトレーダーとしてどう活用するか
Numeraiから持ち出せるのは**「考え方と検証の作法」であり、「アルファ(儲けの源泉)そのもの」はほぼ持ち出せないと考えている。特徴量は難読化されており、予測対象もNumerai側のポートフォリオ構築を前提とした残差リターンだからだ。フォーラムの成功談も、再現可能な知見ではなく仮説の種**として扱う。
持ち出せるものを、自分の運用の形に置き換えると次のようになる。
| Numeraiでの形 | 自分の運用での形 |
|---|---|
| MMC(みんなの予測にない部分を評価) | 新しい戦略を、単体だけでなく既存戦略と組み合わせた後の成績で評価する |
| eraを単位に評価する | 答え合わせの回数を過大に見積もらない。予測期間が重なるデータは、学習と検証の間を空ける |
| 入力を変えて分散 | 価格系・ボラティリティ系・金利系など、情報源ごとにモデルを分け、損益の相関で違いを確かめる |
| 学習期間の違うモデルを混ぜる | 学習窓の違うモデルを束ね、「どれだけ過去を使うか」を当てにいかない |
| 再学習と劣化の監視 | 複数の更新頻度を並走させ、予測力と追加貢献の劣化を分けて見る |
| ステーク(予測と配分の分離) | ペーパー → 少額 → 増額と段階を踏み、各段階の期間と合格基準を事前に決める |
横断面か、時系列かに注意。 Numeraiの道具(順位化・中立化)は、多数の銘柄を同じ時点で比べる問題向けである。個別株の銘柄選択ならほぼそのまま使えるが、指数ETF1本の売買タイミングには定義できない。その場合は「既存戦略に何を足すか」という考え方だけを借りる。
実践プレイブック:組み合わせテスト
最初の一歩は、難しい分析ではなく次の一つで十分だと考えている。
今の戦略と新しい戦略を、同じ期間に並べてみる。単体でよかったかだけでなく、組み合わせたときに、同じリスク条件で成績が改善するかを確認する。その確認に使う期間と配分方法は、結果を見る前に決める。
ポイントは、Step 2の「ルールの事前決定」とStep 3の「未使用期間でのテスト」である。結果を見てから配分や期間を選ぶと、それ自体が過適合になる。
実践診断:単体評価と組み合わせ評価
候補Aと候補Bは、単体のシャープレシオがどちらも0.9である。単体の成績表だけでは区別がつかない。しかし既存戦略と完全に連動する候補Aは、組み合わせても賭け金を増やしたのと変わらない。無関係に動く候補Bは、全体の変動を下げる可能性がある。
単体成績が同じでも、組み合わせへの貢献は異なり得る。 これがNumeraiのMMCの考え方を、個人の研究に写したものである。
スライドの「採用・却下」について
スライドは相関1.0と0.0という極端な前提を置いた模式例である。実際の相関はその中間にあり、採否は上のプレイブックどおり、未使用期間での組み合わせテストで判断する。
慣れてきたら次の段階へ
- 連動部分の分析:候補の損益のうち既存戦略と連動する部分を回帰で分け、改善の理由を調べる補助として使う
- 試行回数の割り引き:たくさん試したぶん評価を割り引く(Deflated Sharpe Ratioなど)
- 更新頻度の比較:原則3のように、複数の再学習頻度を並走させる
Numerai自体を「道具」として使う
- Numerai Signalsで追加貢献を測る:自前のデータで作った横断面シグナルを提出すると、Numeraiがすでに持っている情報に対してどれだけ新しい予測力を持つかを採点してもらえる(採点ルールは変わることがあるので、最新の公式ドキュメントを確認してほしい)
- Classicのデータで検証の腕を磨く:era単位の検証、再学習の頻度、過学習の見抜き方を試す練習台になる
注意点
- 上位者の詳しい手法(特にBGUBERFAIN氏)は、一次情報で確認できていない部分がある
- 再学習の実験は1人の事例であり、一般化はできない
- 学術研究は旧バージョンのデータ(20日先予測)によるもので、現行ルールにそのまま当てはまる保証はない。成績指標も相関スコアに基づくもので、売買損益ではない
- MMCの式は筆者による近似で、公式の定義とは厳密には一致しない
- 参加者の賭け金と収益率は2026年9月30日時点の公開プロフィールから取得したもので、大半は旧ルールの期間の成績である
- ファンド成績は報道による二次情報である
- 原則3のグラフは模式図である
まとめ
- Numeraiの報酬は「当てる」だけでは決まらない。みんなの予測にない部分が、実際に当たったかが問われる
- 独自性だけを追っても意味はない。予測力と追加貢献の両方が要る
- データは多くても、答え合わせの回数は見た目より少ない。自分の結果を疑う
- 分散はモデル名ではなく、予測と損益の違いで確かめる
- 検証と資金配分を分け、増やす基準は結果を見る前に決める
- 最初の一歩は、新しい戦略を既存戦略と組み合わせた後の成績で評価すること
違う予測を作ることが目的ではない。その違いが、未知のデータにおいて、運用全体のリスク・リターン改善につながるかを確かめることが目的である。
付録A:参加者の事例と確認できた範囲
| 参加者 | やっていること | 確認できた範囲 |
|---|---|---|
|
BGUBERFAIN (2025年グランドマスター) |
毎週再学習している。データのバージョン(v5.1〜v5.3)や予測期間の違うモデルに加え、名前の末尾が n050・n100・gauss・copy・agent といった変種を計12本運用 | 毎週の再学習は本人の投稿で確認。変種の中身(中立化の比率やスコア変換の違い)はモデル名からの推測 |
|
ShatteredX (大口ステーカー) |
特徴量を2,376個から225個に削減した。手法は木系モデルの重要度、SHAP、検証データでの総当たり評価。全特徴量より相関スコアが高かったと報告 | 本人のフォーラム投稿で確認。ただし本人が「検証データに過適合している」と認め、賭けるなら全特徴量版を選ぶと明言 |
|
Noptus (公開された研究記録。上位者ではない) |
780の特徴量と公式ベンチマークの予想8本を入力に、LightGBM 9本(ベンチマーク参照型・複数ターゲット・残差学習)とCatBoost 1本を組み合わせる。学習に使っていない57 eraで、平均相関スコア0.0105 | Hugging Faceの公開記録による。木系モデルを増やしても予想どうしの相関は0.81〜0.94と高かったと本人が報告 |
確認できなかった話
一部の調査では、BGUBERFAIN氏が「今の相場に似た過去データを教師なし学習で選び出す」「LightGBMを3本、各1万ラウンド学習する」といったパイプラインを使っていると紹介されている。しかし本人の一次情報には到達できず、確認できたのは「毎週再学習している」までである。
付録B:Numeraiで収益を得る仕組み
Numeraiで収益を得る正規の方法は、**自分のモデルにNMRを賭ける(ステークする)**ことである。
- 無料で登録し、予想を提出する(ステークなしでも成績は記録される)
- 数か月分のライブ成績を見て、効いていそうなモデルにだけ少額のNMRを賭ける
- 成績が良ければNMRが増え、悪ければ減る(没収される)
1ラウンドの損益は、おおまかに次のとおりである(上限は賭け金の±100%)。
$$
\text{損益} = \text{そのラウンドの賭け金} \times (3 \times \text{相関スコア} + 15 \times \text{MMC})
$$
たとえば、あるラウンドに10 NMRを賭け、相関スコア0.02、MMC0.005なら、3×0.02+15×0.005=0.135で約1.35 NMRの利益になる(数値は例示)。
賭け金の分母に注意
- ここでいう賭け金は、その1ラウンドに投入した金額であり、運用資金全体ではない
- 現行の方式では、ラウンドごとに資金が分かれ、決済前のラウンドが64本同時に進む。全ラウンドに10 NMRずつ置けば、拘束される元本は640 NMRになる
- したがって、1ラウンドの収益率を、そのまま総資金に対する日次・週次の収益率として解釈してはいけない
その他の注意点は次のとおりである。
- Classicの予想は自分の売買には使えない:銘柄は匿名IDで配られ、どの銘柄かは分からない
- 結果が出るまで時間がかかる:採点は約60営業日後。良し悪しの判断には、さらに長い期間が要る
- NMRの価格変動:NMRは暗号資産である。モデルが勝っていても、NMRの値下がりで円建てでは損をすることがある
- 税金:日本では、暗号資産で得た利益は原則として雑所得になる。詳細は税理士や国税庁の情報で確認してほしい
参考文献
- Numerai Docs:Scoring Definitions
- Numerai Docs:Meta Model Contribution (MMC)
- Numerai Docs:Staking
- Numerai Docs:Data
- Numerai Docs:Submissions
- Numerai Docs:Grandmasters & Seasons
- Numerai Docs:Signals Scoring
- Numerai Blog:Numerai Monthly(2025年グランドマスター発表)
- Numerai Blog:JPMorgan Secures $500m Capacity in Numerai
- Numerai Forum:When to Retrain a Model — A Casuistic Analysis(svendaj)
- Numerai Forum:ShatteredX's Improved & Compact Feature Set (225 features) for v4.3
- Hugging Face:Noptus/numerai-weekly-v4
- Wong, T. & Barahona, M. (2023) Deep Incremental Learning for Financial Temporal Tabular Datasets with Distribution Shifts
- DeLise, T. (2023) Era Splitting: Invariant Learning for Decision Trees
- Sharpe, W. F. (1991) The Arithmetic of Active Management, Financial Analysts Journal
本記事は情報提供を目的としたもので、投資助言ではない。NMRのステーキングやNumeraiへの参加は、各自の判断と責任で行っていただきたい。














