1. はじめに
- 非エンジニアが Kaggle Playground へ挑戦
- 目的：汎用ベースラインの構築 + 特徴量作成の学び
- 今回の題材：クロス特徴量の作り方
2. アプローチ概要
- 使用環境：Kaggle Notebook
- 使用モデル：LightGBM, XGBoost, CatBoost
- 参考にした公開Notebook："Notebook by GM C. Deotte ：XGBoost - Using Original Data - [CV 0.976]", GM C. Deotte [1]
3. 実装の工夫：クロス特徴量
- これまで特徴量を作成する際、カラムの組み合わせを一つ加えてCV確認、改善すれば採用、悪化すれば不採用、というループを回していた。例えば、下記のコードの通り。
# (1) 住宅ローンあり + 債務残高
all_df["housing_loan"] = all_df["housing"].astype(str) + "_" + all_df["loan"].astype(str)
# (2) コンタクト時間 x 年齢
all_df["duration_x_age"] = all_df["duration"] * all_df["age"]
# (3) sin,cos(コンタクト時間)
all_df['duration_sin'] = np.sin(2*np.pi * all_df['duration'] / 400)
all_df['duration_cos'] = np.cos(2*np.pi * all_df['duration'] / 400)
- GM Chris氏の公開コードより、「カテゴリ列」と「数値列」を網羅的に組み合わせる方法を学んだ。実装内容は下記の通り。(詳細は参考文献 [1] )
① カテゴリ列(CATS)、数値列(NUMS)を保存
② 数値列をカテゴリに変換 → CATS1
③ CATS + CATS1をラベルエンコードしサイズ(SIZES)保存
④ (c1,c2)の組み合わせで新規特徴量CATS2を作成
CATS2 = c1 x SIZES[c2] + c2
⑤ CATS + CATS1 + CATS2 の CE (カウントエンコード)を保存
⑥ CATS1, CATS2 は TE (ターゲットエンコード) 特徴量として更新
4. スコア推移(AUC)
| 番号 | 内容 | CV | Public LB | Private LB | 備考 |
|---|---|---|---|---|---|
| 01 | ベースライン | 0.9688 | 0.9689 | 0.9686 | LGBM/XGB/CB |
| 02 | 特徴量追加 | 0.9712 | 0.9723 | 0.9719 | 最終提出(期限内) |
| 03 | XGB + TE | 0.9753 | 0.9767 | 0.9763 | Chris氏コード編集 |
| 04 | LGBM + TE | 0.9756 | 0.9766 | 0.9763 | 03をLightGBMへ移植 |
| 05 | アンサンブル | 0.9762 | 0.9770 | 0.9766 | 外部データ含む[2] |
最終スコア
Late Submission
- 期限後に改めて提出し、AUC 0.9770 まで改善。アプローチ自体の有効性を確認できた。
まとめ
- クロス特徴量の網羅的な生成 + TEの組合せが大きな改善につながった
- 期限内の最終提出は AUC 0.9723 (Public LB)
- Late Submissionでは AUC 0.9770 に到達
- Kaggle初心者として学んだこと
(1) 手動の特徴量作成より「網羅的な組合せ」+ TEの方が強力
(2) 実務では「特徴量の意味」を説明できることが不可欠 - 今後の挑戦
(1) Playgroundに継続参加し、公開コードを含めて新たな経験を蓄積
(2) テーブルデータコンペで一定の成果を出せるようになること
本記事は自身の学習記録ですが、特徴量設計・モデル改善のアプローチは業務のデータ活用にも応用可能だと考えています。
参考文献
[1] Notebook by GM Chris ：XGBoost - Using Original Data - [CV 0.976]
https://www.kaggle.com/code/cdeotte/xgboost-using-original-data-cv-0-976
[2] 自身のGitHubコード
https://github.com/gentlech0/product/blob/main/01_Kaggle/01_Playground/S5E8/10_S5E8-Final-Edition.ipynb