1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

Databricks Community Edition ~チュートリアル~

Last updated at Posted at 2020-11-10

以前、Databricks Community Editionのクラスター立ち上げを記載させていただきました。

今回は初めてのチュートリアルを実際にワークスペースの中で動かしていこうと思います。

image.png

まず、最初のホーム画面があります。※ホーム画面ではない場合、左横タブにあるimage.png
このボタンを押下していただくと、上記の画面に遷移します。

ホーム画面になりましたら、Explore the Quickstart Tutorialの文字をクリックします。

すると、下記の画面に遷移します。

image.png

遷移しましたら、

image.png

Notebook名の下にあるクラスター選択プルダウンをクリックして、このNotebookで動かすクラスターの選択をします。

※ちなみに、Notebook内では6.3versionのクラスター作成、動作推奨されています。ただ、7.2MLクラスターで動かしてみたところ、特に問題なく動きました。6.3よりも下のversionだと不具合が起きるかもしれないので、気をつけてください。あ、あと、6.3はなく、6.4のversionは存在します。

クラスターが作成されていなかった場合、前回書いた記事を参照していただければ幸いです。

その後、RunAllボタンを押すとNotebook内のコマンドが実行されていきます。

image.png

RunAllを押すと、

image.png

上記のように、右の方に実行されているコマンドが表示されます。

この、チュートリアルで実行していることはDatabricks dataset内のデータを読み込んできて、それをもとに、テーブルを作成し、delta形式のファイルでdbfs上に保存されます。作成されたテーブルから、データチャートを表示させたりするような、Notebookとなっています。

コマンド実行前

image.png

image.png

コマンド実行後

image.png

image.png

このように、テーブル、ファイルが作成されました。

動作確認としては他にもクラスターのタブから、動かしたクラスターを選択すると、様々な情報が載っているので、参考になると思います。

image.png

image.png

ちなみに、チュートリアルを再度、同じ環境で行うと、データが既にあるというエラーになってしまいますので、再度行うときは、作成したデータを削除してから、実行していただけたらと思います。

//削除コマンド /該当するフォルダ、ファイルをパスを指定して削除される
dbutils.fs.rm("dbfs:/delta/",True)

上のコマンドを適当なNotebook上で実行していただきますと、dbfs配下のdeltaフォルダ含む以下のファイル、フォルダが削除されます。

以上が、Databricksチュートリアルの解説でした。

見ていただき、ありがとうございました。

株式会社メソドロジック

川名智士

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?