はじめに

今回はDatabricksのAutoMLのパフォーマンスについてちょっとお話ししたいとおもいます。

DatabricksのAutoMLとは

数クリックで実行可能なGUI/CUIベースのAutoML

clusterの選択
ML Problem type(回帰、分類、時系列予測)
データ（テーブルの指定)
予測したいfield

AutoMLで生成されたモデルはすべてmlflowで自動でTracking

実験結果のOverview
各モデルの比較

精度の確認

今回、どのくらいの精度がでるかというところで、SIGNATE様が出されているTest用のCompetitionデータを使ってAutoMLを回して見たいと思います。
https://signate.jp/competitions/126

タスクとしてはコロラド州のルーズベルト国有林の樹木観察情報から林形(7種）を分類する多変量のタスクになります。

データ準備

データをSIGNATEのサイトからダウンロードして、DBFSにupload後、automl用にDeltatable化しておきます。
AutoML側で特徴量の抽出をさせるので、特に加工せずにBronze tableとして扱います。

df = (spark.read.option('header', 'true')
                .option('sep', '\t')
                .option('inferSchema', 'true')
                .csv('/FileStore/tmp/train-1.tsv')
)

df.write.mode("append").saveAsTable("suda_automltable_forest")

AutoMLを実行

選択項目
- Cluster : 利用するCluster(ML Runtime）のものを利用します。(AutoMLを実行した分だけ課金される仕組みです）
- ML problem type : Classfication (他には回帰、時系列予測が使えます）
- Input Training Dataset : ↑で作成したtableを設定
- Prediction Target : 今回はCover typeを選択します（林の型)
- Evaluation Metrics : 今回のテストコンペの評価指標はaccuracyを選択します（他にはf1score、logloss、ROCなどを選択できます）

項目を選択後、Startを押して実行します。

データセットにもよるので、なんとも言えませんが開始5分程度で13個ほどのモデルが学習されている状態になります。
アルゴリズム、ハイパーパラメータチューニングなどを自動で行い、結果300ほどのモデル生成が行われました。

AutoMLを実行したころのaccuracyの値はかなり低いのですが、時間が経つにつれ、精度がよくなっていっていることがわかっていただけるかとおもいます。

・初期のころ

・最終のころ

中身を見てみる

DatabricksのAutoMLでは作成したモデルに対して、notebookが出力されます。
どういうデータをloadしたのか、特徴量の抽出、データ加工、ハイパーパラメータになにを与えていたかなどが全てわかるので、AutoMLでベースラインを作成して、さらにチューニング、mlflowで比較といった流れを作ることができます。