バックテストアプリでのスコアの実装 -分析しやすく・わかりやすく・比べやすく-

what_is_score_eye

スコアの実装 for バックテストアプリ

2020/11/22現在、我々はリリース済みのRiverage.BackTestアプリの機能追加として

バックテストの結果時に表示されるスコアの実装

を行っています。

この記事はスコアの意味、内訳、そしてなぜ実装するのかについての記事です。

スコアとは

バックテストアプリにおけるスコアは、

バックテストの結果をより

  • 分析しやすく
  • わかりやすく
  • 比べやすく

するための評価指標です。

具体的には、

  • 収益性
    • 12ポイント B+ 512位 偏差値 58
  • 利益
    • 2,345円  A-  345位 偏差値 61

のようにバックテスト結果を表示します。

これによって様々なメリットがあると考えます。

ではまず『分析しやすく』から。

分析しやすく

現状、バックテストの結果は

  • 勝率
  • 取引回数
  • 資産変動

そして一回ごとの取引の詳細情報(利益と取引時のチャート)となっています。

確かに、勝率は高い方が良い、資産変動は右肩上がりだと良い、というのはイメージがつきやすいですが、

この勝率はどのくらいあった方がいいの?
50%でいいの?60%くらいあるべき?

資産変動が相当アップダウンあるけどこれって普通?

といった疑問が生まれ、いまいち結果の良し悪しの判断やどこを改善点した方が良いのか分かりにくいのではないでしょうか。

ご存知の方もいらっしゃるかとは思いますが、バックテストの評価指標には

  • 最大ドローダウン
  • ペイオフレシオ
  • プロフィットファクタ
  • 破産確率

などあり、バックテストではこれらを総合的に評価することで戦略を評価します。

  • 最大ドローダウン 
    • 2,345円
  • ペイオフレシオ
    • 1.34
  • プロフィットファクタ
    • 1.65
  • 破産確率
    • 2.5%

まずはシンプルに、結果に関する情報を増やしました。

わかりやすく

バックテストに詳しい人であれば上のように結果の評価指標を見るだけで、分析できるかも知れません。

ただ、ライトユーザからしてみればぱっと見では分かりにくいし、詳しい人でもこの情報だけでは自分の戦略が客観的にどの程度良いのかは分からないでしょう。

そこで、ただ数値として指標を並べるより

  • 最大ドローダウン
    • 2,345円 A-
  • ペイオフレシオ
    • 1.34  B
  • プロフィットファクタ
    • 1.65 B+
  • 破産確率
    • 2.5% C-

とABC評価の形で成績形式で表示された方が、圧倒的にわかりやすい。

後で述べますが、このABCにも意味があります。

比べやすく

スコア評価ができると何ができるか、わかりやすくなった他にも、こんなメリットがあります。

他の戦略と比べることができる!

これは非常に価値のあることです。

利益だけの比較、勝率の比較といったことは可能でしたが、

それらを全て点数化し、戦略の総合得点という意味でのスコアが出せます。

これにより、勝率等の比較ではなく、

戦略そのものの比較が可能になります

vs 自分の戦略 / vs 他人の戦略

もちろん自分の作った他の戦略と比べ、より良い戦略を見つけていくことにつながりますが、

他のユーザと比べ、自分の戦略がどのくらいの立ち位置なのかを確認することもできます。

最終的にはこのスコアを使って、コンペつまり、大会を企画しようと考えてます。

ゴールデンクロス・デッドクロス縛り大会

GBPJPY縛り大会

みたいにルールを決めた中でのランキングや、

今週のランキング

コロナ相場(2020/03-2020/11)での有効な戦略ランキング

といった企画を見据えて、スコアの実装を行っております。

スコアの算出方法

そもそもスコアの算出方法ですが、他の戦略の結果、もっと言えば、他のユーザによるバックテスト結果と比較することで算出しています。

具体的には偏差値を使っています。

例えば、利益を例に説明します。

全戦略の利益の平均が5000円で、標準偏差(分散の平方根)が10000円とし、

自分の戦略での利益が16000円の場合、

$$ \frac{10(16000 – 5000)}{10000} + 50 = 61 $$

となり、偏差値61となります。

そして、以下の表で偏差値→ABC評価としています。

そのため、偏差値61はA-となります。

点数ABC評価より大きい以下
8S67.5
7A+6567.5
6A62.565
5A-6062.5
4B+57.560
3B5557.5
2B-52.555
1C+5052.5
0C
-1C-47.550
-2D+4547.5
-3D42.545
-4D-4042.5
-5E+37.540
-6E3537.5
-7E-32.535
-8F
32.5

今後の展望

スコアの実装により、

バックテスト結果の分析ができ、

戦略そのものを比較できるようになり、

自分の戦略との比較はもちろん、

他の人との戦略と比較ができるようになり、

最終的にはコンペ形式の大会を開催できるようになります。

スコアの実装、お楽しみに。

strのプロフィール画像

str