自作した競馬予測モデルを今後1年間のGIレースに適用して性能を検証してみようと思います。
本稿は、検証したレースの予測結果と、実際のレース結果を受けてのモデルの挙動に関する所感をまとめておく記録用の記事となります。
予測結果までスキップする▶オークス予測結果
予測モデルの概要と検証方法
ベース
今回、モデルを2種類構築しましたが、使用するデータや加工は両モデルで同じです。
- アルゴリズム:LightGBM
- モデル①:スピード指数予測モデル
- モデル②:3着以内予測モデル
使用データ概要
| 分野 | 指標 |
|---|---|
| レース情報 | 会場, レース目, 距離, トラック種別, 重賞, レースクラス, 年齢クラス, 性別クラス, 頭数, 天気, 馬場 |
| 出走馬情報 | horse_id, 枠番, 馬番, 性別, 年齢, 斤量, 馬体重, 前走比, jockey_id, trainer_id, 累計獲得賞金, 輸送距離, 会場_相性, トラック種別_相性,馬番_相性, 騎手_相性, 馬場_相性, 天気_相性 |
| 前走~3走 | タイム, Last3F, 着順, スピード指数, 馬場指数, 会場, レース目, 距離, トラック種別, レースクラス, 頭数, 天気, 馬場, 枠番, 馬番, jockey_id, trainer_id |
基本的にはnetkeibaの中央競馬のデータをスクレイピングし加工しています。
相性は、過去の同条件のレースでの賞金獲得実績から算出しています。
スピード指数はこちらのサイトの算出方法を参考に、自身で算出プロセスを組みました。
https://team-d.club/speed-index/about-speed-index/
算出には過去3走の実績を使用しているので、中央競馬の出走実績が3走に満たない馬は予測の対象外となります。
スピード指数予測モデル
- 予測手法:回帰
- 目的変数:スピード指数
- 購入対象(フラグ):スピード指数上位5頭
継続的な検証をするには1レースで5頭は多すぎる気もしますが、シミュレーションでは上位3頭よりは網羅できる結果となっていたので、これで行きたいと思います。
3着以内予測モデル
- 予測手法:分類
- 目的変数:flg(3着以内だと1)
- 購入対象(フラグ):予測確率上位3頭
こちらのモデルは、キャリブレーション(sigmoid、isotonic)やオッズに応じた予測確率の補正を施しています。
検証方法
2026年に中央競馬で開催されるGIレースを対象として予測結果に従って単勝馬券を購入します。
ただし、予測対象の頭数が出走頭数の過半数に満たないときは、そのレースの購入を見送ります。
モデル別に毎レースの回収率を算出し、結果を検証します。
最終的に有馬記念までの合算した回収率から実績を評価します。
オークス予測結果
| 馬番 | 馬名 | 予測スピード指数 | 3着以内予測確率 | 参考単勝オッズ | 人気 | flg_1 | flg_2 |
|---|---|---|---|---|---|---|---|
| 18 | ラフターラインズ | 79.1989 | 0.264698 | 3.7 | 2 | ○ | - |
| 16 | ジュウリョクピエロ | 78.8018 | 0.0564559 | 8 | 5 | ○ | - |
| 5 | リアライズルミナス | 78.752 | 0.302111 | 66.9 | 10 | ○ | ○ |
| 3 | アランカール | 78.6833 | 0.126575 | 12.4 | 6 | ○ | - |
| 2 | レイクラシック | 78.5729 | 0.266003 | 86 | 11 | ○ | - |
| 12 | ドリームコア | 78.4955 | 0.162877 | 6.6 | 3 | - | - |
| 10 | スターアニス | 78.4556 | 0.297428 | 2.8 | 1 | - | ○ |
| 17 | スウィートハピネス | 77.9844 | 0.199854 | 89.3 | 12 | - | - |
| 14 | ソルパッサーレ | 77.9716 | 0.159397 | 201 | 15 | - | - |
| 6 | ロンギングセリーヌ | 77.9212 | 0.217732 | 234.4 | 17 | - | - |
| 4 | ロングトールサリー | 77.8777 | 0.224252 | 159 | 14 | - | - |
| 7 | スタニングレディ | 77.8539 | 0.153999 | 224.6 | 16 | - | - |
| 1 | ミツカネベネラ | 77.6417 | 0.153851 | 291.8 | 18 | - | - |
| 8 | スマートプリエール | 77.3883 | 0.306814 | 34.9 | 8 | - | ○ |
| 11 | アメティスタ | 77.0544 | 0.289752 | 121.1 | 13 | - | - |
「flg_1」はスピード指数予測モデルの予測結果をもとに単勝を購入する対象を「○」とし、
「flg_2」は3着以内予測モデルの予測結果をもとに単勝を購入する対象を「○」としています。
※参考単勝オッズと人気は予測時点のものです。
今回は2頭が両モデルのフラグ対象となっているため、両モデルともに的中できる可能性があります。
1番人気のスターアニスが馬体重判明前では両モデルでフラグ圏内でしたが、最終予測結果ではスピード指数モデルで圏外となりました。
今回のレースでは馬体重判明後で予測結果に変化があり、実際にも距離適性などで難しい評価のようです。
レース結果を受けての所感
1着:16番ジュウリョクピエロ(5番人気)単勝オッズ10.9倍
見事、的中することができました。感動的なレース結果でしたね。
| 予測モデル | 的中 | 回収率 |
|---|---|---|
| 予測スピード指数 | ○ | 218.0% |
| 3着以内予測確率 | - | 0.0% |
JRA女性騎手初のGI制覇が果たされる歴史的なレースでした。
また、今回両モデルでフラグ圏内となったリアライズルミナスも序盤で仕掛けてから掲示板圏内まで逃げる結果となり、好走していたといえます。
現在の成績
検証レース数:8
| 予測モデル | 的中率 | 回収率 |
|---|---|---|
| 予測スピード指数 | 62.5% | 53.8% |
| 3着以内予測確率 | 50.0% | 40.0% |
検証を開始してから今回が初の両モデル投資額を超える回収率となりました。
今後も今回のような人気の観点で刺激的な展開があれば、状況は改善できます。
これからが楽しみですね。
それではまた、次回の検証で。