これは2023/3月に書いていたのですが、下書きのまま放置していたものです。
相当古い内容ではあるのですが、放置しっぱなしも（自分の精神的に）良くないなと思いましたので、備忘録として少しだけクリーンアップして投稿します。

なお、金融データ活用チャレンジも先日2回目が終了しました。そちらは参加登録だけして、活動できずに終わったのですが、次回があれば今度こそちゃんとやりたいと思っています。

参加していた以下のコンペが終了しましたので、最後のまとめを書いてみます。
今回は完全にコラムです。

まずは事務局の方、参加された皆様方、大変お疲れさまでした

初コンペということもあって右往左往している中、Slack上のやり取りは癒しでした。
ここからはコンペの結果や試みたことなどを、分析プロセスごとに書き残してみます。

結果

ランクとしては45位でした。

初期目標が0.80以上だったので、それから考えれば思った以上に延ばせました。
ただ、最後1週間は0.99到達を目途に頑張っていたので、そこに至らなかったのは悔しいです。

基本プロセスは以下の内容から変わっていません。
いろいろ考えたのですが、結局学習は全てAutoMLでやりました。

以下、プロセスごとの詳細と反省点。

最終的に作成した特徴量数は1600強(機械的な特徴量生成含む)
もっとも暫定評価のよかったモデルは、そのうち650程度の特徴量を使用しました。
作成した特徴量を全部書くことはできませんが、
- ラグ特徴量(1か月前の値、2か月前の値、etc)
- 差分特徴量(当月値と1か月前の差分、etc)
- 変化率(当月値と1か月前の値の変化比、etc)
- 移動平均(過去Nか月期間の平均、etc）
  のような機械的に生成できる特徴量や
- 過去の滞納回数(全期間での対応有無、過去6か月以内の滞納有無、etc）
- 総入金金額・総出金金額
- 入金・出金の変動係数
  のようなドメイン知識っぽい特徴量を入れていきました。
反省点は、中盤まで特徴量を追加するたびに毎回データの作り直しをしていたこと
- 特徴量が増える後半の際は、生成・保存処理だけで相当時間がかかっていた
- 結局、特徴量のカテゴリごとにテーブルを分けて管理するように変更。かなり時間をロスした
- Feature Storeを真面目に勉強して、それで管理するようにすればよかったなと反省

特徴量の選定は、SHAPの重要度を基に、影響度が小さいものをカットして、新たな特徴量を追加する方式で実施
- Wrapper MethodのStep backward方式ぽいやり方・・・かな？
ただ、影響度が大きい特徴量を多く残しても必ずしもPublic LBが伸びるわけではなかったのもあって、今もどうしたらよかったのかわからず。。。
- 初学者の実力不足を実感。。。
また、特徴量選択→AutoML→best modelのSHAP計算　というやり方をとっていたので試行時間が相当量発生
- これは素直にAutoML使わず、専用の処理を組めばよかったなと反省
結局、最後の方はカンと試行錯誤というアナログなやり方で特徴量選択を詰めていました。ここは大きな反省点。
あと、チュートリアルに出ていたumapによる圧縮特徴量は後半手が回らず入れられませんでした。ここも反省点。

提出する予測のモデルは、全てDatabricksのAutoMLを使用
- 途中、他のやり方も検討したのですが、結局初志貫徹しました
- 実務ではDatabircks AutoMLを使ってないこともあり、わからないことも多くあったので今回かなり勉強になりました
最終提出に使ったモデルはLightGBM
- 序盤からAutoMLにつかうフレームワークはXgboostとLightGBMに絞っていたのですが、終盤はLightGBM一本でした
- Xgboostもいいスコアを出す時があったのですが、LightGBMの方が後半安定してスコアを出していたため
データ量制約が厳しい
- 今回のクラスタだと、特徴量650 x データ行10万件が今回AutoMLで回せるギリギリのデータ量。これ以上は自動でサンプリング
- そのため、特徴量を増やしづらく。。。

順位でのブレンディング
- 単純平均やスタッキングも試しましたが、順位でのブレンディングが最もスコアを伸ばせました
- 最終提出したデータもブレンディングしたものです

クラスタ制約が一番きつかった
- クラスタが1基なので、AutoMLを回している間に他の事をするのがきつい
- 後半はずっとAutoMLを回しまくっていたので、時間の使い方に悩みました
- あと、クラスタ設定が変更できないので、sparkの環境設定とか諦めたところがありました。spark.task.cpusの設定とか
- メモリ制約も、特徴量が増大してきた後半は悩みの種でした
~~あと仕事が最後のほうにかなり忙しくなり、両立がマジできつかった~~

次はリベンジ！