Databricks LabsにおけるAutoML-ToolkitのPythonラッパーであるpyautoml_toolkitの環境構築手順

概要

Databricks Labsにて開発されているAutoML-ToolkitのPythonラッパーであるpyautoml_toolkitの環境構築手順を紹介します。
環境構築は実施できたのですがdemoのノートブックを適切に実行できなかったため、環境構築手順を残して未来に託すことにしました。

AutoML-Toolkitについては、下記で紹介されております

• automl-toolkit/APIDOCs.md at master · databrickslabs/automl-toolkit (github.com)
• AutoML Toolkit - Deep Dive - Databricks

AutoMLがどういったものであるかは下記の記事の手順により体験できます。

• 無償版Databricks Community EditionにてDatabricks AutoMLが動いた話 - Qiita

手順

1. 下記のコードを実行してGithubのレポジトリをクローン後、セットアップの実行。

%sh
git clone https://github.com/databrickslabs/automl-toolkit.git /tmp/automl
cd /tmp/automl/python/
python setup.py bdist_wheel

2. ビルドしたwhlファイルをDBFS上に移動。

# create the directory
dbutils.fs.mkdirs("/lib/automltoolkit")

# delete files in the directory
dbutils.fs.rm("/lib/automltoolkit", True)

# whl file to dbfs
dbutils.fs.mv("file:/tmp/automl/python/dist", "/lib/automltoolkit", recurse = True)  

3. AutoML-Toolkitのライブラリをインストール

4. 先ほどビルドしたwhlファイルをインストール。"Library Source"に"DBFS/ADLS"を、"Library Type"に"Python Whl"を、"File Path"に"dbfs:/lib/automltoolkit/pyautoml_toolkit-0.8.1-py3-none-any.whl"を入力。

5. インストールされたことを確認