モチベーション

投資成績の評価はアルゴリズム取引においてはかなり重要な要素と言えます。成績の評価なしには、例え成績が堅調でも、その戦績は運なのか、それともしっかりとしたエッジがあったのかを区別出来ません。
アルゴリズム取引の目的は突き詰めると利益を生むことなので、あらゆる方面（手数料、ソフトウェア、データ、評価軸等）を向上させることが大切です。
この記事では、投資成績を評価するための評価軸についていくつか紹介したいと思います。中には皆さんがお馴染みの評価軸も多いと思いますが、どういう時に用いるのか、パラメーターをどう設定するのか等についても丁寧に解説したいと思います。
初学者の方々にとっては、モデルを作る上で評価する指標は欠かせないので、読んで損はないと思います。
上級者でもネタ切れすることはあるので、参考になる指標があれば幸いです。

イントロダクション

評価軸を多方面で見る目的をしましては、以下の疑問を解消するためです。

戦略によって生成された機械的なルールが継続的なリターンを生み出し続けているのか、戦略はバックテストにおいて正のリターンを生み出しているのか
この戦略が、ライブでも同じようなパフォーマンスを維持出来ているのか
複数の戦略/ポートフォリオを比較して、限定的な量のみで機会損失を減らすことが出来ているか

成績を評価するための具体的な項目は、主に以下の通りです。

リターン : これがバックテストでもライブ環境でも投資戦略の成績が最も見えやすい側面です。ここでは主に二つの成績評価軸を紹介します。(トータルリターンと複利年間成長率(Compound Annual Growth Rate(CAGR))
ドローダウン : ドローダウンはネガティブな成績の期間でhigh-water markから計算されます。high-water markは、前の期間までの最高値からどれだけパフォーマンスが落ちたかで定義されます。この記事では、より具体的に定義します。
リスク : リスクは様々な場所から生じますが、ここでは資産価値の損失とリターンのボラティリティについて主に話したいと思います。
リスク/リワード　レシオ: 機関投資家は主にリスク調整済みリターンについて関心があります。高いボラティリティは、高いリターンをもたらすことが往々にあります。もちろん高いドローダウンもですが。ここでは、これを評価するために、Sharpe Ratio,Sortino Ratio,CALMAR Ratioについて紹介します。
トレード分析: これまでの成績の評価軸は戦略とポートフォリオに対して有効でした。個々の取引履歴やその他成績を評価するための評価軸を見ることも大切です。例えば、[勝ったトレード数]/[負けたトレード数],平均収益率と勝ち/負け比率(PF)です。

まずは、トレード分析から見ていきましょう。

トレード分析

最初のステップとして、実際の取引の成績を分析しましょう。こういった評価軸は戦略に応じて劇的に変化しやすいです。典型的な例では、トレンドフォロー型の戦略と平均回帰型の戦略の違いの比較です。
トレンドフォロー戦略は沢山の負けトレードがあり、それぞれは小さい負けです。トレンドが形成されたときに、より少ない頻度で利益的な取引が発生して、負けトレードを一気に取り戻します。
平均回帰戦略は逆の特徴を持ちます。一般的には沢山の利益的なトレードになりますが、平均回帰しなかったときに、大きな負けになります。

統計量まとめ
ここでいうPeriodはOHLCVデータのバー(Bar)の個数です。

Total Profit/Loss (PnL):トータルの損益
Average Period PnL:一期間平均損益
Maximum Period Profit:収益が出た最大期間
Maximum Period Loss:損失が出た最大期間。ただし、現実の損失期間は通常これよりも大きくなることを意識する必要があります。
Average Period Profit:一期間平均利益
Average Period Loss:一期間平均損失
Winning Periods:勝った期間の総和(例えば、全部で100期間あって50期間勝っていたら50)
Losing Periods:負けた期間の総和
Percentage Win/Loss Periods:勝ち期間/全期間。トレンドフォロー型と平均回帰型で顕著に異なる。

戦略とポートフォリオ分析

取引履歴単位の分析はデリバティブ等を含む複雑な長期戦略においてとても有益です。より高頻度の取引になればなるほど、私たちは個々の取引履歴よりも戦略の評価関数をより考えるようになります。
ここでは三つほど分析手法を紹介したいと思います。

リターン分析: 戦略のリターンは収益の概念を要約します。機関投資家は手数料込みでどの程度の資金を投資して、どの程度見返りを得られたのかを見ます。特に、キャッシュのインフローやアウトフロー等が入ってくると、リターンの計算は難しくなります。
リスク/リワード分析: 外部の投資家がまず見る最初の代表的な指標は、アウト-オブ-サンプル・シャープレシオです。これは業界標準評価関数でリスク単位でリターンの程度を特徴づけるものです。
ドローダウン分析: 機関投資家においては、これは三つの側面の中で最も重要である可能性があります。戦略やポートフォリオのドローダウンの外形や程度は、リスク管理における重要な要素を形成します。後ほど定義します。

機関投資家の成績を強調しましたが、リテールトレーダーにとっても大事な指標であり、適切なリスク管理能力は継続的な戦略の評価の手続きの中から形成されます。

これから具体的にこの3つの分析アプローチに用いる指標について解説していきます。

リターン分析

戦略のパフォーマンスについて議論するときに最も広く使われているグラフは、機関投資家やリテールトレーダーにとっても、往々にしてトータル・リターン,年間リターン,月間リターンでしょう。
トータルリターンの計算は相対的に単純です。機関投資家のように、キャッシュのインフロー/アウトフローがある場合は別です。

r_t = (P_f - P_i)/Pi * 100

ただし、$r_t$はトータルリターン, $P_f$は最終時刻における法定通貨ベースのポートフォリオの価値、$P_i$はポートフォリオの初期価値です。私たちは基本的に純トータルリターン(net total return)について興味を示します。これは、全ての取引/ビジネスコストを差し引いたポートフォリオの価値になります。
注意点は、この公式は、ロングオンリーのレバレッジ無しにおけるポートフォリオにのみ適用可能です。もし、ショートやレバレッジを考慮に入れたいのであれば、厳密には計算方法を少し変えなければいけません。なぜなら、技術的にはそういった行為には、他から資産を借りて行う必要があるからです。これを*マージンポートフォリオ(margin portfolio)*と呼びます。

ここからエクイティカーブについて解説します。

ポートフォリオの価値の時系列方向へのプロットをエクイティカーブ(equity curve)と呼びます。

こういったプロットは、どういった時期に儲かって、損をしたのかを分析するのに役立ちます。ただし、ファンドを勧められたとき等マーケティングされたときは、基本的に右肩上がりのカーブしか見せられません。そういったカーブに対しては、ボラティリティが極端に上がったときはどうだったか等、マーケットのボラティリティで場合分けしてカーブを細かく見る必要があります。
エクイティカーブは最も基本的な分析になりますが、リスク/リワード分析とドローダウン分析に欠かせない大事な指標となります。

リスク/リワード分析

シャープレシオ

ここで、私たちは二つの全く同じリターンを持つ戦略を考えます。ここで、私たちはどのようにして、一方が「よりリスク」があると言えるのでしょうか？「よりリスクがある」とはそもそもどういう意味なのでしょうか。
金融においては、これらは、リターンのボラティリティとドローダウンの期間によって測ります。
つまり、十分大きなリターンのボラティリティがある場合は、あまり魅力的とは言えません。この問題の解決策の一つがシャープレシオです。

William Forsyth Sharpe(ノーベル経済学賞受賞者）がCAPM(Capital Asset Pricing Model)の開発と手伝い、1966年にシャープレシオを開発しました。

S = \frac{\mathbb{E}[R_a - R_b]}{\sqrt{\mbox{Var}(R_a-R_b)}}

ただし、$R_a$は資産価値のリターンで$R_b$は適切なベンチマーク(例えば、金利等)です。

ただし、これは一期間のシャープレシオですので、実際は**年率シャープレシオ(annualized Sharpe)**で期間を統一して比較します。

実際に指標を評価する際は、時間単位をちゃんと統一する必要があります。

S_A = \sqrt{N} \frac{\mathbb{E}[R_a - R_b]}{\sqrt{\mbox{Var}(R_a-R_b)}}

ここで、$N$は365ではなく基本的に252です。なぜなら、株式市場が開場している日数が一年間で約252日だからです。この252はなぜか世界中で使われています。252　生存者あり、なんちゃって。
これは一期間が一日である場合ですので、一期間が一時間であれば$N = 252*6.5 = 1638$となります。ただし、米株式市場基準です。
このシャープレシオは一つのベンチマークになります。例えば、S&P500を一単位購入して、放っておいた場合の年率シャープレシオと比較して、自分の戦略は良いのかどうかを測るのです。
あと、よく使われる指標としてリスクフリーレートというものがございますが、これは具体的に何を参照すればよいのでしょうか？
アメリカであれば10年物国債のT-billがベンチマークになることが多いですが、基本的には国債の金利を見れば良いです。あまり長い目線で株式を保有しないのであれば、最悪0と仮定しても大丈夫かもしれません。
また注意点としては、シャープレシオは、あくまでもヒストリカルを評価しているのであって、将来を保証するものではありません。これは、過去が将来とも類似しているという仮定で成り立っているもので、マーケットのレジームの変化では、この指標は信用してはいけません。

Sortino Ratio

シャープレシオでは、上振れも下振れも考慮していました。しかし、一般的な投資家は上振れに関しては正直あまり気にしません。ソルティノ・レシオはそういったモチベーションで作られました。
つまり、ダウンサイドのボラティリティのみを記録するのです。

\mbox{Sortino} = \frac{\mathbb{E}[R_a - R_b]}{\sqrt{\mbox{Var}(R_a-R_b)_d}}

ただし、$(X)_d = \min(X, 0)$と定義します。

CALMAR Ratio

投資家によっては、平均的なドローダウンより、最大ドローダウンを気にするという方もいらっしゃるでしょう。
CALMAR(CALifornia Managed Accounts Reports)またの名は、ドローダウン・レシオはこれがモチベーションで作られました。

\mbox{CALMAR} = \frac{\mathbb{E}[R_a - R_b]}{\max{\mbox{drawdown}}}

ただし、CALMARはシャープレシオほど一般的には使用されておりません。

ドローダウン分析

ドローダウン分析はアルゴリズム取引の成績評価においては最も大事と言っても過言ではない側面です。なぜなら、口座残高が消し飛べば、どんな成績評価も意味がないからです。例えるなら、サッカーのゴールキーパーです。確かに、目立ちませんが、ゴールキーパーが居なければ、ゲームに勝つことはかなり難しくなります。
ドローダウン分析は、資産価値が前のピーク地点(high water mark)からの差になります。

最大ドローダウンとデュレーション

二つの重要なドローダウンに関する評価は最大ドローダウンとドローダウンのデュレーション（期間）です。
基本的には日単位で分析することが多いですが、高頻度取引においては、もっと短いスパンで分析する必要があります。
バックテストにおいては、これらの評価は、将来、戦略がどのように振舞うかに関するアイデアを与えてくれることがあります。
全体的には、バックテストにおけるエクイティカーブがよく見えたとしても、前の期間のピークを越えるのが以下に難しいのかを示してくれたりします。
価格が天辺から10%や20%落ちただけで、回復するためにはかなり時間がかかるかもしれません。こういった傾向は勉強になります。
戦略のドローダウンの回復速度等を見て、適切なストップロスを設定することも一つの手段です。

ドローダウン・カーブ

最大ドローダウンとドローダウンの期間について知ることも大切なのですが、時系列方向でドローダウンを直接見ることも一つの手段です。
まずは、ある典型的なドローダウン・カーブについて見てみましょう。

(参照元:　SUCCESSFUL ALGORITHMIC TRADING, Michael L. Halls-Moore)

この図では、2010年のQ3から2011年のQ2までは相対的に安定していたにも関わらず、最大ドローダウンが14.8%にまで到達しました。一方で、資産価値は全体としてかなり利益的ですが、このドローダウン期間を耐えることは難しいです。
ここで注目していただきたいのが、この最大ドローダウンは、時間に対して発生している点です。つまり、将来はもっと大きなドローダウンが起きる可能性があるということです。
こういったドローダウンへの対処法はストップロスを設定することや大きなイベントでは取引しない等色々とありますが、この記事ではあくまでも指標の解説に焦点を絞るため、対処法への言及は省略致します。

参考文献

SUCCESSFUL ALGORITHMIC TRADING, Michael L. Halls-Moore