以前、Databricks Community Editionのクラスター立ち上げを記載させていただきました。
今回は初めてのチュートリアルを実際にワークスペースの中で動かしていこうと思います。
まず、最初のホーム画面があります。※ホーム画面ではない場合、左横タブにある
このボタンを押下していただくと、上記の画面に遷移します。
ホーム画面になりましたら、Explore the Quickstart Tutorialの文字をクリックします。
すると、下記の画面に遷移します。
遷移しましたら、
Notebook名の下にあるクラスター選択プルダウンをクリックして、このNotebookで動かすクラスターの選択をします。
※ちなみに、Notebook内では6.3versionのクラスター作成、動作推奨されています。ただ、7.2MLクラスターで動かしてみたところ、特に問題なく動きました。6.3よりも下のversionだと不具合が起きるかもしれないので、気をつけてください。あ、あと、6.3はなく、6.4のversionは存在します。
クラスターが作成されていなかった場合、前回書いた記事を参照していただければ幸いです。
その後、RunAllボタンを押すとNotebook内のコマンドが実行されていきます。
RunAllを押すと、
上記のように、右の方に実行されているコマンドが表示されます。
この、チュートリアルで実行していることはDatabricks dataset内のデータを読み込んできて、それをもとに、テーブルを作成し、delta形式のファイルでdbfs上に保存されます。作成されたテーブルから、データチャートを表示させたりするような、Notebookとなっています。
コマンド実行前
コマンド実行後
このように、テーブル、ファイルが作成されました。
動作確認としては他にもクラスターのタブから、動かしたクラスターを選択すると、様々な情報が載っているので、参考になると思います。
ちなみに、チュートリアルを再度、同じ環境で行うと、データが既にあるというエラーになってしまいますので、再度行うときは、作成したデータを削除してから、実行していただけたらと思います。
//削除コマンド /該当するフォルダ、ファイルをパスを指定して削除される
dbutils.fs.rm("dbfs:/delta/",True)
上のコマンドを適当なNotebook上で実行していただきますと、dbfs配下のdeltaフォルダ含む以下のファイル、フォルダが削除されます。
以上が、Databricksチュートリアルの解説でした。
見ていただき、ありがとうございました。
株式会社メソドロジック
川名智士