この記事は、Numerai Advent Calendar 2021 の16日目の記事です。

はじめに

このツイート内容と一部、重複します。
ツイート内容に加えてTB200の結果、新旧neutralize関数による結果も記載します。

変更履歴

2022-01-23
- モデルのURLを追加
2022-05-10
- 画像サイズを変更
- 2022-04-03にアナウンスのあった新Diagnosticsの結果を追加
  - https://rocketchat.numer.ai/channel/announcements?msg=562DyyiAdoNKyWDmC
- その他、文言や画像表示を微調整
2022-09-04
- R332以降は、これらのモデルの予測提出は停止するので、最終提出のR331を追記

のフォーラム記事でmdoさんが言及されている分割方法です。

ターゲットのオーバラップを避けるために、Eraを以下のようにパージングして全体を4つグループの分けます。

Eraグループ1: 0001, 0005, 0009, ...
Eraグループ2: 0002, 0006, 0010, ...
Eraグループ3: 0003, 0007, 0011, ...
Eraグループ4: 0004, 0008, 0012, ...

さらに、特徴量1050個を210個の区切りで、全体を5つのグループに分けます。

特徴量グループ1: 1 ~ 210
特徴量グループ2: 211 ~ 420
特徴量グループ3: 421 ~ 630
特徴量グループ4: 631 ~ 840
特徴量グループ5: 841 ~ 1050

このようにして、4 * 5 = 20 で、データセットが20分割になります。

今回、20個の各データセットで学習して、予測値の平均を求めてアンサンブルしてみました。

All	TB200

All	TB200

新データセットのutils.pyのneutralize関数を使用。proportion=1.0

All	TB200

この結果だけをみるとマイナスが少なくて安定してそうですが、最近のlive eraでどうだったのか気になります。
今後、提出して観察してみます。
フルFNのCorrは、ノーマルのFNCの0.0175になると思いましたが、 0.0194 で一致しませんでした。

All	TB200

旧データセットのneutralize関数を使用。proportion=1.0

All	TB200

Corrが、ノーマルのFNCの0.0175と一致しました。
新診断は、旧データセットのneutralize関数が使用されているようです。

データセット分割との比較として、
新データセットに含まれている example_validation_predictions.csv です。

All	TB200

All	TB200

All	TB200

ハイスペックマシンではなくても、データ分割してアンサンブルかつフルFNで高Sharpeを期待できそうです。

上記メモを試して進展ありましたら、共有したいと思います。

(特徴量が5つに分かれているのは、平日の5日間？)