SPSS Modelerで目的変数のレコード数に不均衡がある場合にそのバランスをそろえるのがバランス・ノードです。
このバランス・ノードを解説するとともに、Pythonのpandasで書き換えてみます。
0．元データ
ここではローン審査での、顧客の属性と判定したリスクの入ったデータを使います。Riskが１の場合はリスクの高い顧客、0はリスクの低い顧客を示しています。
CustID:顧客番号
Age:年齢
Car_loans：車のローンランク
Credit_cards:クレジットカード利用ランク
Education:教育ランク
Income:収入ランク
Risk:リスクありなし
500件あります。
Riskの1と0のレコード件数を比較するとRisk=1のレコードは全体の25%、Risk=0のレコードは75%で、アンバランスになっていることがわかります。
通常こういうデータでRisk予測モデルを作る場合は、Riskがある人を予測したいのですが、仮にすべてをRiskなしと予測しても75%の精度で予測ができ、Riskなしと予想しがちなモデルができてしまいます。
これを避けるために、Riskありとなしのレコードのバランスをとるのがバランス・ノードです。
1m．①アンダーサンプリング Modeler版
バランス・ノードは単体で使うこともできますが、棒グラフノードから作るのが一般的です。
まずRiskで棒グラフを作成します。
グラフができたら、生成メニューから「バランスノード（減少）」を選びます。
そうするとバランスノードがキャンバスに追加されます。
中身を見るとRisk＝１の時には1倍なのでそのまま、Risk＝０の時には約0.3倍のレコード数にするというバランス比率が定義されます。
このサンプリングノードを接続したうえで、改めて棒グラフノードで結果を確認すると、Risk=0のデータが約1/3になって、ほぼ同数のレコード数になりました。
注意点はランダムシードが設定できないので、毎回結果が変わってしまうことです。ですので、キャッシュしてキャッシュデータを保存しておくか、エクスポートノードでファイルやDBのテーブルに出力しておくことをお勧めします。
1p．①アンダーサンプリング pandas版
pandasでアンバランスデータの修正を行う場合はimblearnを使います。pipやcondaを使って導入しておきます。
#pip
pip install imbalanced-learn
#conda
conda install -c conda-forge imbalanced-learn
imblearnを使うためには、以下のように説明変数のデータフレームと目的変数のデータフレームに分割しておく必要があります。
df_x=df.drop(['Risk'],axis=1)
df_y=df[['Risk']]
件数とその棒グラフを表示してみます。
df_risk=df_y.groupby('Risk').size()
print(df_risk)
df_risk.plot.bar()
では、このデータをアンダーサンプリングしてみます。
RandomUnderSamplerをImportし、random_stateでランダムシードを指定してインスタンス化します。
その上で説明変数のデータフレームと目的変数のデータフレームを引数にfit_resampleを実行するとアンダーサンプリングされた説明変数のデータフレームと目的変数のデータフレームが戻ります。
from imblearn.under_sampling import RandomUnderSampler
sampler = RandomUnderSampler(random_state=1)
x_resampled, y_resampled = sampler.fit_resample(df_x,df_y)
件数とその棒グラフを表示してみます。どちらも600件と同数になっているのがわかります。
df_risk=df_y.groupby('Risk').size()
print(df_risk)
df_risk.plot.bar()
2m．②オーバーサンプリング Modeler版
先ほどはRiskありの600件に合わせてRiskなしのレコードを減らすアンダーサンプリングをしましたが、Riskありのレコード件数を増やすオーバーサンプリングも可能です。
棒グラフの生成メニューから「バランスノード（増加）」を選びます。
中身を見るとRisk＝0の時には1倍なのでそのまま、Risk＝1の時には約3倍のレコード数にするというバランス比率が定義されます。
棒グラフで結果を見ると以下のようにRisk＝１のレコードが3倍に増えて、同数程度になっていることがわかります。
データをみるとRisk＝１のレコードが約3倍に重複していることがわかります。
2p．②オーバーサンプリング pandas版
pandasでオーバーサンプリングする場合はRandomOverSamplerを使います。使い方はRandomUnderSamplerと同じです。
from imblearn.over_sampling import RandomOverSampler
sampler = RandomOverSampler(random_state=1)
x_resampled, y_resampled = sampler.fit_resample(df_x,df_y)
Risk＝１が増えて同数になったことがわかります。
3. 補足
オーバーサンプリングにはSMOTEという方法もあります。SMOTEは単にデータをコピーするのではなく、似たデータを生成します。
【リレー連載】わたしの推しノード –機械学習時代の申し子「SMOTEノード」が不均衡データの壁を突破する | IBM ソリューション ブログ
ModelerにはSMOTEノードがあります。imbalanced-learnでもSMOTEが可能です。
SMOTE — Version 0.8.0
4. サンプル
サンプルは以下に置きました。
ストリーム
https://github.com/hkwd/200611Modeler2Python/raw/master/balance/balance3.str
notebook
https://github.com/hkwd/200611Modeler2Python/blob/master/balance/balance.ipynb
データ
https://raw.githubusercontent.com/hkwd/200611Modeler2Python/master/data/credit_risk.csv
■テスト環境
Modeler 18.3
Windows 10 64bit
Python 3.8.5
pandas 1.0.5
imblearn 0.7.0
5. 参考情報
Python: 機械学習における不均衡データの問題点と対処法について - CUBE SUGAR CONTAINER
バランス・ノード - IBM Documentation
imbalanced-learn API reference — Version 0.8.0