与えられた10分間の観測データを使い、10分後のRealized Volatilityを予測するコンペ
Optiver Realized Volatility Predictにて知っておくべき周辺知識をまとめた。

Realized Volatilityとは

ボラティリティの推定値の一種
ボラティリティは資産価格の変動度合いを表し、この指標が高い商品は高リスクと判定できる。
Realized Volatilityは、高頻度データによる株価リターンを使用し、日時換算したボラティリティを指す。
ごちゃごちゃ書いているが、要は日中に観測されたリターンの2乗を観測回数分足して、
日時換算したものがRealized Volatility
定義式はt日の観測回数i回のRVが下記式
$$
RV_t = \sum_{i=1}^{n}r^2_{-1+i/n}\quad
$$
$\lim_{n \to \infty}RV_t$が一日単位で観測された累積ボラティリティと一致していることが示されているので、
観測回数を増やせば増やすほど真のボラティリティに近づく。
なお、一般的なボラティリティ自体は$dS_{t}=\mu S_{t}, dt+\sigma S_{t}, dB_{t} $
におけるシグマを指すようです。（Wikipedia定義）
名前がややこしいが、あくまでRVは統計量なので平均値の仲間のようなもの（と思っている）

今回のコンペにおけるRealized Volatility

上記は金融工学におけるやや厳格なRealized Volatilityを記載した。
今回のコンペでは金融知識を持たないKagglerに配慮し、もっとシンプルなRealized Volatilityの定義が用いられている。
本題に入る前に、下準備とし市場の流動性と株式評価の上で重要なOrder book statisticsとLog Returnについて確認する。

bid/ask spread
Weighted averaged price
Log Return

bid/ask spread

原文

As different stocks trade on different level on the market
we take the ratio of best offer price and best bid price to calculate the bid-ask spread.

異なる水準の株価のトレードをする際の__最高買値__と__最安売値__の比であり、以下で定義される。
$$
BidAskSpread=BestOffer/BestBid-1
$$

株の流動性の1つの指標として用いられようで、これが1に近いと取引費用は小さく
流動性が高くなります。（つまりボラは低い）

Weighted averaged price

読んで字のごとく重みづけされた平均価格。定義見たほうが早い

$$
\frac{WAP=BidPriceAskSize+AskPriceBidSize}{BidSize+AskSize}
$$

Realized Volatilityを計算する上での価格はこれを用いるので、
関数化必須

Log returns

異なる時系列の株価を比較するときに、logを使うと計算が楽になります（あたりまえ体操）
$$
r_{t_1,t_2} = \log(\frac{S_{t_2}}{S_{t_1}})
$$

Realized Volatility

ようやくRealized Volatilityの定義に入る。
年単位で正規化された株のログリターンの、年換算標準偏差がVolatility
WAPによって定義された株価$S_t$をログリターンにぶち込み、
各tにおける二乗和の平方根を取った値σこそ、今回求めるRealized Volatility
$$
σ = \sqrt{\sum_{t}r^2_{t-1,t}}
$$
頑張ってこれを予測していきましょう

終わりに

RMSPEについて

指標としてはRMSPE（Root Mean Squared Percentage Error）が使われる。
誤差を正解値で割った値の二乗の平均の平方根（長い）
RMSPEを0に近づけていくことがコンペの目標だが、RMSPEだからと言って留意すべきことは特段なさそう
特徴量の検討方法について考察できたら追記します。

参考文献

Kaggleのチュートリアル
https://www.kaggle.com/jiashenliu/introduction-to-financial-concepts-and-data
高頻度データによるボラティリティの推定：Realized Volatilityのサーベイと日本の株価指数および株価指数先物の実証分析
https://www1.econ.hit-u.ac.jp/finmodel/pdf-2/2014-7Wakaki.pdf
Realized volatility のショックの影響力についての検証
https://www.imes.boj.or.jp/research/papers/japanese/07-J-14.pdf