databricksを使ってみた

第2回 金融データ活用チャレンジ で提供された開発環境databricksにお世話になったお礼を兼ねて使ってみた感想を列挙する

よかった点

1. AutoMLで高性能モデルを構築
   ノーコードで滅茶苦茶簡単
   databricksのAutoMLでモデルの最適ハイパーパラメータを探索

2. notebookのバージョン管理
   submitが60回を超えるとsubmission.csvとモデルや学習データの対応が怪しくなるがdatabricksのバージョン管理機能はそんな悩みを払拭してくれる
   databricksのバージョン管理

3. 時間制限
   無償版のGoogle Colabではブラウザを閉じて90分経過するとランタイムがシャットダウンする(2024/2/13時点)がdatabricksにはそのような時間制限はない
   寝る時間に “ぽちっとな” とモデルの学習を開始してPCをシャットダウン
   翌日PCを起動してブラウザを立ち上げnotebookに接続すると学習済みモデルができあがっている
   databricksの時間制限

4. AIがコード生成
   APIリファレンスを検索することなくコーディングが可能
   databricksのAIコード生成

個人的要望 or 反省

1. GPUクラスタがほしかった
   CatBoostやSVM系のライブラリは処理時間がかかるのでGPUクラスタがあればありがたい

2. GitHub連携を試す時間がなかった
   databricksのバージョン履歴とGitHubのコミット&プッシュを理解して上手に活用すればよりスマートなソース管理が実現できたと思うが時間的制約からcloneを連発し無駄なnotebookがたくさんできてしまった