Databricksの計算資源には以下の2種類があります。
- Databricksクラスター: Python/SQL/R/Scalaを実行できる汎用計算資源です。
- SQLウェアハウス: SQLしか実行できませんが、SQLの処理に最適化されている計算資源です。SQLの処理はこちらを使うのがおすすめです。
DatabricksノートブックではこれまではDatabricksクラスターしか利用できませんでしたが、今回DatabricksノートブックからもSQLウェアハウスを利用できるようになりました！SQLワークロードに取り組んでいる際、SQLノートブックでロジックを記述し、その処理をSQLに最適化されたSQLウェアハウスで実行できるようになります。
マニュアルはこちらです。
SQLウェアハウスにノートブックがアタッチされている際、SQLとマークダウンのセルを実行することができます。他のすべてのセル(Python、R、その他の言語)は無視されます。SQLウェアハウスで実行されたSQLセルはSQLウェアハウスのクエリー履歴に表示されます。
SQLウェアハウスの作成
SQLウェアハウスを作成して起動します。
ノートブックの作成
SQLノートブックを作成します。と言うか、データブラウザも使えるようになってますね。
クラスターセレクターを開くと、SQLウェアハウスを選択できるようになっています。
SQLウェアハウスにアタッチします。
SQLを実行します。
マークダウンも記述できるので、複雑なSQLロジックを組み立てるのはこちらの方が良さそうです。
ぜひお試しください！