自作した競馬予測モデルを今後1年間のGIレースに適用して性能を検証してみようと思います。
本稿は、検証したレースの予測結果と、実際のレース結果を受けてのモデルの挙動に関する所感をまとめておく記録用の記事となります。
予測結果までスキップする▶宝塚記念予測結果
予測モデルの概要と検証方法
ベース
今回、モデルを2種類構築しましたが、使用するデータや加工は両モデルで同じです。
- アルゴリズム:LightGBM
- モデル①:スピード指数予測モデル
- モデル②:3着以内予測モデル
使用データ概要
| 分野 | 指標 |
|---|---|
| レース情報 | 会場, レース目, 距離, トラック種別, 重賞, レースクラス, 年齢クラス, 性別クラス, 頭数, 天気, 馬場 |
| 出走馬情報 | horse_id, 枠番, 馬番, 性別, 年齢, 斤量, 馬体重, 前走比, jockey_id, trainer_id, 累計獲得賞金, 輸送距離, 会場_相性, トラック種別_相性,馬番_相性, 騎手_相性, 馬場_相性, 天気_相性 |
| 前走~3走 | タイム, Last3F, 着順, スピード指数, 馬場指数, 会場, レース目, 距離, トラック種別, レースクラス, 頭数, 天気, 馬場, 枠番, 馬番, jockey_id, trainer_id |
基本的にはnetkeibaの中央競馬のデータをスクレイピングし加工しています。
相性は、過去の同条件のレースでの賞金獲得実績から算出しています。
スピード指数はこちらのサイトの算出方法を参考に、自身で算出プロセスを組みました。
https://team-d.club/speed-index/about-speed-index/
算出には過去3走の実績を使用しているので、中央競馬の出走実績が3走に満たない馬は予測の対象外となります。
スピード指数予測モデル
- 予測手法:回帰
- 目的変数:スピード指数
- 購入対象(フラグ):スピード指数上位5頭
継続的な検証をするには1レースで5頭は多すぎる気もしますが、シミュレーションでは上位3頭よりは網羅できる結果となっていたので、これで行きたいと思います。
3着以内予測モデル
- 予測手法:分類
- 目的変数:flg(3着以内だと1)
- 購入対象(フラグ):予測確率上位3頭
こちらのモデルは、キャリブレーション(sigmoid、isotonic)やオッズに応じた予測確率の補正を施しています。
検証方法
2026年に中央競馬で開催されるGIレースを対象として予測結果に従って単勝馬券を購入します。
ただし、予測対象の頭数が出走頭数の過半数に満たないときは、そのレースの購入を見送ります。
モデル別に毎レースの回収率を算出し、結果を検証します。
最終的に有馬記念までの合算した回収率から実績を評価します。
宝塚記念予測結果
| 馬番 | 馬名 | 予測スピード指数 | 3着以内予測確率 | 参考単勝オッズ | 人気 | flg_1 | flg_2 |
|---|---|---|---|---|---|---|---|
| 13 | シェイクユアハート | 84.9032 | 0.313894 | 70 | 11 | ○ | - |
| 12 | マイネルエンペラー | 84.8384 | 0.236159 | 116.1 | 13 | ○ | - |
| 5 | クロワデュノール | 84.7605 | 0.386421 | 2.5 | 1 | ○ | ○ |
| 1 | ダノンデサイル | 84.643 | 0.323726 | 7.4 | 5 | ○ | - |
| 8 | タガノデュード | 84.5861 | 0.391155 | 47 | 9 | ○ | ○ |
| 10 | ジューンテイク | 84.5371 | 0.305182 | 174.1 | 15 | - | - |
| 6 | ビザンチンドリーム | 84.4665 | 0.113368 | 31.7 | 7 | - | - |
| 16 | メイショウタバル | 84.3885 | 0.146973 | 5.5 | 2 | - | - |
| 18 | ミステリーウェイ | 84.3669 | 0.162453 | 191.5 | 16 | - | - |
| 11 | シンエンペラー | 84.3552 | 0.223189 | 75.7 | 12 | - | - |
| 9 | コスモキュランダ | 84.2953 | 0.243658 | 40.3 | 8 | - | - |
| 7 | ファミリータイム | 84.2417 | 0.22569 | 221.4 | 18 | - | - |
| 3 | シュガークン | 84.1749 | 0.201645 | 200.5 | 17 | - | - |
| 4 | ミクニインスパイア | 84.1611 | 0.331946 | 56.4 | 10 | - | - |
| 15 | マイユニバース | 84.0193 | 0.335163 | 17.2 | 6 | - | ○ |
| 2 | ミュージアムマイル | 84.0056 | 0.206688 | 5.9 | 3 | - | - |
| 14 | スティンガーグラス | 83.3401 | 0.330229 | 116.5 | 14 | - | - |
| 17 | レガレイラ | 80.0508 | 0.196782 | 6.5 | 4 | - | - |
「flg_1」はスピード指数予測モデルの予測結果をもとに単勝を購入する対象を「○」とし、
「flg_2」は3着以内予測モデルの予測結果をもとに単勝を購入する対象を「○」としています。
※参考単勝オッズと人気は予測時点のものです。
今回は2頭が両モデルのフラグ対象となっているため、両モデルともに的中できる可能性があります。
2勝中のクロワデュノールを両モデルでフラグ圏内となっており、今回も期待したいですね。
同様に両モデルでフラグ圏内となっているタガノデュードは前走でも両モデルでフラグ圏内となったものの結果が出ていません。出走数も多いので、どうなのか気になります。
また、昨年の宝塚記念で1着となったメイショウタバルをフラグ圏内としていないことをどのように評価するか注目です。
レース結果を受けての所感
1着:16番メイショウタバル(2番人気)単勝オッズ3.9倍
今回は残念ながら的中できませんでした。
| 予測モデル | 的中 | 回収率 |
|---|---|---|
| 予測スピード指数 | - | 0.0% |
| 3着以内予測確率 | - | 0.0% |
昨年の宝塚記念に続く2連覇となりました。
突然の雨で逃げ有利な展開も影響したかもしれません。
予測時点で気にしていた昨年同レースの実績を評価しきれていない点が仇となりました。新たに課題を発見できるレースになったと思います。
現在の成績
検証レース数:11
| 予測モデル | 的中率 | 回収率 |
|---|---|---|
| 予測スピード指数 | 54.5% | 44.0% |
| 3着以内予測確率 | 36.4% | 29.1% |
今回のレースも結果的には固い決着でしたので、的中できたとしても全体への貢献度合いは低かったことになります。
これで春の検証は終了となります。また秋のGIから検証を再開します。
これからが楽しみですね。
それではまた、次回の検証で。