Calculate Information for Testing Data

で、testデータに今まで計算したbureau_countsとかをmergeしてるけど、testデータはtestデータでまた別のbureau的なデータがあるものだと思ってた。SK_ID_CURRを見たら、trainとtestと両方入っているのだろうか。

train_labels = train['TARGET']

# Align the dataframes, this will remove the 'TARGET' column
train, test = train.align(test, join = 'inner', axis = 1)

train['TARGET'] = train_labels

ここらへんの、trainとtestのcolumnsを揃えるのも慣れてきた。
predictする時によくエラーが出ていたものです・・

html(CSS)でも、 test-align:centerみたいな指定があったが、alignは「揃える」という意味だったのね。。

kde_target(var_name='client_bureau_balance_counts_mean', df=train)

あれ、上記だとエラーになってします、と思ったら元のnoteもエラーになっていたという笑

おそらく、

kde_target(var_name='client_bureau_balance_MONTHS_BALANCE_count_mean', df=train)

この図だと思われる。KDEの図は本当好き。

Collinear Variables

Collinear Variablesとは何なのか・・
検索すると、
多重共線性 multicollinearity
と同じと出てくるだが本当にそうなのか。
まあ読んだ意味からすると似たようなものだろう。
Targetとのcorrelationだけでなく、variablesそれぞれのcorrelationsを見て、高いものは外していくほうがよい、と。

Notebookで変数の中身を知りたい

いわゆるprint debugしたい！という時、みたいところの直前で

from IPython.core.debugger import Pdb; Pdb().set_trace()

でconsole出てくるので、そこでprint debugできるよ、と。便利。

学んだpython

set()

リストを渡すと重複が取り除かれる。というように使っているが本来は集合を作るものらしい・・
https://qiita.com/Tocyuki/items/0bc783daab382ef7a0ec

学んだ英語

skeptically 懐疑的

次はModelingから。
https://www.kaggle.com/willkoehrsen/introduction-to-manual-feature-engineering#Modeling