はじめに
Dota2というMOBAゲームがあります。
5人ずつ2陣営に分かれて戦うというPvPゲームなのですが、試合後の結果のデータをAPIから取得することができます。
今回はそのゲームの試合データを使用して、Pythonでのデータ分析手法を学んでいこうと思います。
どうやったか
データ準備
こちらの手順に従い、ランクマッチ20万試合からheroのデータを200万レコード生成しました。
データはローカルのMySQLに格納されています。
作業環境
- Python3.7
- Windows 10
分析手法
- pandas,seabornによるデータ集計、可視化
- randomforestによる特徴量抽出
データ集計、可視化
では実際に分析を行っていきます。
import pandas as pd
import mysql.connector
まずはpandasとmysql.connectorをimportします。
pandasによってDBから取得したデータをオブジェクト的に扱うことが可能になります。
DBとの接続は以下のように行います。
conn = mysql.connector.connect(user=USER, password=PASSWORD, host=HOST,database=DATABASE)
get_data_sql = ("SOME SQL TO GET DATA FROM DB")
df = pd.read_sql(get_data_sql,conn)
まずはDBへのコネクションと発行したいSQL文をそれぞれ用意しておきます。
その後、pandas.read_sql(SQL文,DBへのコネクション)を使用することで、DBに接続してクエリを発行した結果をpandasのデータフレームとして返すことができます。
今回は自前で用意した200万レコードほどのheroの試合後のデータを読み込みます。
#行数、列数の確認
df.shape
#columnsの確認
df.columns
#各columnの型を確認
df.dtypes
#データの最初の10行の確認
df.head(10)
上記の各メソッドを使用し、データフレームの中身の確認を行います。
出力として、以下のような結果が得られます。
>>> df.shape
(2324690, 14)
>>> df.columns
Index(['localized_name', 'kills', 'deaths', 'assists', 'last_hits', 'denies',
'gold_per_min', 'xp_per_min', 'hero_damage', 'hero_healing',
'tower_damage', 'level', 'role', 'win'],
dtype='object')
>>> df.index
Int64Index([ 0, 1, 2, 3, 4, 5, 6,
7, 8, 9,
...
2324680, 2324681, 2324682, 2324683, 2324684, 2324685, 2324686,
2324687, 2324688, 2324689],
dtype='int64', length=2324690)
>>> df.dtypes
localized_name object
kills int64
deaths int64
assists int64
last_hits int64
denies int64
gold_per_min int64
xp_per_min int64
hero_damage int64
hero_healing int64
tower_damage int64
level int64
role float64
win int64
dtype: object
>>> df.head(10)
localized_name kills deaths assists last_hits denies gold_per_min xp_per_min hero_damage hero_healing tower_damage level role win
0 Chaos Knight 2 7 15 148 14 365 525 19390 0 2496 22 2.0 0
1 Razor 3 12 19 154 8 399 597 31253 0 3280 25 4.0 1
2 Puck 14 4 11 117 12 648 629 20550 0 4926 17 1.0 1
3 Windranger 17 10 10 272 15 561 837 45332 0 2573 25 2.0 1
4 Bounty Hunter 9 15 14 79 4 376 389 19695 0 568 19 2.0 0
5 Medusa 2 8 7 342 5 466 554 18195 0 1221 23 1.0 0
6 Drow Ranger 4 11 11 264 12 463 612 14212 0 3907 24 3.0 1
7 Wraith King 0 10 5 110 8 278 341 8672 653 136 15 3.0 0
8 Viper 6 6 13 160 6 357 515 40166 0 207 22 3.0 0
9 Viper 9 9 18 321 14 544 765 37989 3344 3441 25 3.0 1
これでなんとなくデータフレームの中身が分かりました。
次はデータの集計を行っていきます。
>>> df[df['localized_name']=="Wraith King"].groupby('role').mean()
kills deaths assists last_hits denies gold_per_min xp_per_min hero_damage hero_healing tower_damage level win
role
1.0 8.148059 5.080573 14.404602 319.447215 9.224476 605.831597 689.485982 29056.807468 1943.241533 7506.423583 23.024315 0.581814
2.0 6.305348 6.056100 14.952829 260.457731 8.572455 521.927788 622.459381 23908.871882 2271.675143 5684.855673 22.174512 0.570805
3.0 5.043701 6.973615 15.006102 207.631926 7.273747 454.209433 561.282487 19626.316788 2461.276550 4234.463885 21.211082 0.532322
4.0 3.978129 7.995140 14.980964 166.241798 5.795869 383.629810 504.052653 16742.079789 2639.248279 3049.780478 20.347104 0.455650
5.0 2.725076 8.490433 13.041289 115.559919 4.201410 305.891239 400.220544 12426.337362 2446.492447 1887.459215 17.639476 0.373615
色々なメソッドを合わせて使用し、Wraith Kingのrole毎の各データの平均値を集計してみました。
gpmが高いほど勝率が高くなるcarryheroの典型ですね。しかも彼に関してはpos3となっていても53%の勝率を誇ります。
一方pos4,5に関しては一気に勝率が下がるので、support適正は低いと言えそうですね。
という感じでpandasを使用することで、データを集計して見える形で出力することができます。
では各手順について順番に解説していきます。
まずdf['column名']は選択したcolumnのみのデータフレームを表します。
df[df['column名']=='抽出したいデータ']であるcolumnについて、データを絞って抽出できます。今回はlocalized_nameがWraith Kingであるデータ群を抽出しています。
データフレームの持つメソッドgroupby('集計したいcolumn名')を使用することで、あるcolumnについてデータを集計することができます。
集計後のオブジェクトに対してmean()メソッドを使用することで、その平均値を集計したデータを出力することができます。
次にseabornを使用し、データの可視化を行います。
import seaborn as sns
import matplotlib.pyplot as plt
df = df.dropna(how='any')
df_viper = df.query("localized_name == 'Viper'").drop('localized_name', axis=1)
まずはライブラリのimportを行います。
そしてdf.dropna(how='any')で欠損値の削除を行います。
引数howにanyを指定することで、一つでも欠損値を含む行を削除することができます。
尚、デフォルトのhowの引数はanyで設定されているため、dropna()でも同じ処理が実行できます。
今回はViperというheroに関して見ていこうと思います。
なので、新たにデータフレームを作製します。
df.query()は抽出を可能にするメソッドで、SQLに近い形で条件を指定することができます。
可視化する際にheroの名前を示すlocalized_nameは不要かつデータフレーム名で明言を行なっているため、dropメソッドを使用することでcolumnの削除を行います。
引数axisに1を指定することで列の削除を行います。ちなみに0を指定すると行の削除が可能になります。
ヒストグラム
fig1, ax1 = plt.subplots(1,1)
sns.distplot(df_viper['gold_per_min'], kde=False, bins=100, ax=ax1)
ax1.set_xlim(0,1000)
まずはplt.subplots(行数,列数)を使用しfigure,axesのオブジェクトを作製します。
次にseabornのdistplotメソッドを使用し、ヒストグラムを描画していきます、
引数としては、まず目的のデータを配列で渡します。
また、kdeはデフォルトでTrueになっていて、その場合密度関数を表示してくれます。
今回はFalseに設定したのでヒストグラムだけの表示で、y軸はx軸のvalueのcountを表します。
binsはbinのサイズを指定します。今回は100で設定しています。
axには先ほど作製したaxesオブジェクトを渡すことで、指定したaxesオブジェクにグラフを描画することができます。
最後にaxesオブジェクトのメソッドset_xlimを使用することで、x軸の表示範囲を指定することができます。今回は0から1000の範囲を指定しています。
この結果として以下のようなグラフが得られます。
上記からgpm500あたりにピークが見られることがわかります。
全体としてgpm400-550あたりが割合の高い傾向が見られますね。
ヒートマップ
fig2, ax2 = plt.subplots(1,1)
sns.heatmap(df_viper.corr())
再び、figure,axesオブジェクトを生成します。
df.corr()はデータフレームの各列間の相関係数を返します。
sns.heatmapはその名の通りヒートマップを描くことができます。
ヒートマップを描くことで、以下のように各列の相関が一目でわかるようになります。
上記の図のwinに注目すると、assists,gpm,towerdamageなどに正の相関が見られますね。
そんなの当たり前だろうという感じですが、、、
killsよりもassistsの方が正の相関が高いようなので、carryというよりはpos3くらいの立ち位置が勝利に貢献できるようですね。
RandomForestによる特徴量抽出
次はメジャーな機械学習手法であるRandomForestを使用し、特徴量抽出を行います。
RandomForestでは複数の決定木モデルを量産し、その多数決をとってアウトプットとします。
特徴として、変数、データセットから非復元抽出して各決定木を作製することで、バリアンスの低減が実現できます。
今回はWitch Doctorというheroのデータを使用します。
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_validate
from sklearn.model_selection import GridSearchCV
まずはPythonの機械学習ライブラリのScikit-learnからRandomForestClassifier,cross_validate,GridSearchCVをimportします。
今回は、Cross Validationという手法でモデルの学習、評価を行います。
この手法ではデータセットをn分割し、n-1個のデータセットでモデル学習を行い、残り1つのデータセットで評価をする、ということをn回繰り返します。
こうすることでn個の別々のデータセットによる学習済みモデルを得ることで、汎化精度の向上が狙えます。
また、ハイパーパラメータの選定にGridSearchを使用します。
この手法では、パラメータのリストを用意し、それぞれに対して学習を行い、最適なパラメータを発見できます。
GridSearchCVではその評価にCross Validationを使用することでより精度の高い探索を行うことができます。
clf = RandomForestClassifier(n_jobs=-1)
params = {'n_estimators':[100,500,1000],'max_features':["auto","log2"]}
gs = GridSearchCV(estimator=clf,param_grid=params,cv=5,n_jobs=-1)
output = cross_validate(gs,df_wd.drop('win',axis=1),df_wd['win'],return_estimator =True,cv=5)
RandomForestClassifier()でランダムフォレストのオブジェクトを生成します。
引数に用いたn_jobsは並列処理のコア数を指定できます。-1を入力することで実行している環境の最大のコア数で処理をしてくれます。
次にパラメータのdictを用意します。それぞれ試行したいパラメータをkeyとし、具体的な数値などをvalueとしてlistで用意します。
そしてGridSearchCV()でcross validationをしながらGrid Searchを行うオブジェクトを生成します。
estimatorに使用したいモデルのオブジェクト、param_gridに評価したいパラメータのdict、cvに分割方法、n_jobsに並列数を指定します。
最後に、cross_validate()でcross validationを実行できます。
実行結果として、scoreなどの要素をkeyとして持つdictが返ってきます。
引数として、先ほどのGridSearchCVのオブジェクト、説明変数、目的変数、return_estimator、cvを用います。
return_estimatorにTrueを与えると、返ってくるdictの要素にestimatorを追加できます。
estimatorはvalueとして、cross valitationで学習したそれぞれのモデルのオブジェクトを持ちます。
f_impo_mean = np.array([np.array([model.best_estimator_.feature_importances_[x] for i, model in enumerate(output['estimator'])]).mean() for x in range(len(df_wd.drop('win',axis=1).columns))])
best_model = output['estimator'][0].best_estimator_
feature_importances = pd.DataFrame(f_impo_mean,
index = df_wd.drop('win',axis=1).columns,
columns=['importance']).sort_values('importance', ascending=False)
print(f"Scores:{output['test_score'].mean()}")
print(feature_importances)
すごい煩雑なコードを書いてしまいましたが、上記によって学習したモデルの平均スコアと平均の特徴量の重要度が得られます。
GridSearchCV().best_estimator_によって、最適なパラメータで学習を行ったモデルが得られます。
そのモデル、つまりRandomForestClassifierのオブジェクトは.feature_importances_によって特徴量の重要度が配列として得られます。
今回は最適パラメータで学習したモデルの特徴量の重要度を全て抽出し、平均を出しています。
また、スコアについてはcross_valitadeが出力したdictの要素としてそれぞれのモデルのスコアを配列として持っているので、その平均を取得します。
これにより今回得たモデルのスコア及び特徴量の重要度が以下のように得られます。
Scores:0.869820195786567
importance
tower_damage 0.318008
gold_per_min 0.124985
deaths 0.095011
assists 0.093349
hero_damage 0.071653
hero_healing 0.070373
last_hits 0.057846
xp_per_min 0.056232
role 0.029596
kills 0.028958
denies 0.027598
level 0.026391
ぼちぼちなスコアなのではないでしょうか。
目的変数を勝敗にしてあるので、特徴量の重要度としてtower_damageとgpmが来るのは当たり前といえば当たり前ですね、、、
assistsが高くkillが低めの数値であるので、集団戦には積極的に参加することが求められる一方、killは取らなくてもゲームの勝敗に関与はしなさそうですね。
また、hero_damageと同じくらいhero_healingの重要度が高いことがわかります。
Witch Doctorは回復スキルを持っているのですが、それを適切に使用することも勝敗には重要みたいですね。
まぁ勝ち試合であればずっと回復していられるからというのもあるかもしれませんが、、、
ともかく、以上のようにCross Validation, Grid Searchを使用したRandomForestによるモデルを利用して汎化精度が高い形で特徴量抽出が実現できます。
終わりに
軽くですが、Pythonによる分析手法が学べたと思います。
今後として
-word2vecでのheroのベクトル化
-前処理、分析のフロー作製
-更なる手法の探索
などにトライしていこうと考えています。