Databricks notebook interface and controls | Databricks on AWS [2023/6/1時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
ノートブックツールバーには、ノートブックを管理、編集する際に使用できるアイコンが含まれています。
ノートブック名の隣にあるボタンでは、ノートブックのデフォルト言語を変更することができ、ノートブックがDatabricksのリポジトリに格納されている場合には、Gitダイアログを開くことができます。
ノートブックの以前のバージョンを参照するには、メニューの右にあるLast edit…メッセージをクリックします。
ノートブックツールバーのアイコンとボタン
ツールバーの右にあるアイコンとボタンを以下の表で説明しています。
| アイコン | 説明 |
|---|---|
 |
MLflowノートブックエクスペリメントを開きます。 |
 |
ノートブックコメントを開きます。 |
 
|
すべてのセルの実行、実行の停止。このボタンの名称はノートブックの実行状態に応じて変化します。 |
 |
クラスターセレクターを開きます。ノートブックがクラスターに接続されている場合、このボタンにはクラスター名が表示されます。 |
 |
ジョブスケジューラを開きます。 |
 |
Delta Live Tablesを開きます。このボタンは、ノートブックがDelta Live Tablesのパイプラインに含まれている場合にのみ表示されます。 |
 |
アクセス権ダイアログを開きます。 |
右側のサイドバーのアクション
以下の表で説明しているように、ノートブック右側のサイドバーからいくつかのアクションを行うことができます。
| アイコン | 説明 |
|---|---|
|
ノートブックコメントを開きます。 |
|
MLflowノートブックエクスペリメントを開きます。 |
 |
ノートブックバージョン履歴を開きます。 |
 |
変数エクスプローラを開きます。(Databricksランタイム12.1以降のPython変数で利用できます。) |
データのブラウズ
プレビュー
本機能はパブリックプレビューです。
ノートブックで使用できるテーブルやボリュームを探索するためにスキーマブラウザを開くには、ノートブック右側の
をクリックします。詳細はデータのブラウズをご覧ください。
セルのアクションメニュー
セルのアクションメニュー
を用いることで、ノートブックのセルをカット、コピー、貼り付け、移動、セルにタイトルの追加、コードや結果の非表示を行うことができます。
このメニューからコードのセルを実行することもできます。
マークダウンセルではダッシュボードにセルを追加するオプションが表示されます。詳細はダッシュボードをご覧ください。
セルの作成
ノートブックでは2つのタイプのセルを使用します: コードのセルとマークダウンのセルです。コードのセルには実行可能なコードが含まれます。マークダウンのセルには、セルが実行された際にテキストや画像がレンダリングされるマークダウンコードが含まれており、ドキュメントやコードを説明するために使用することができます。
単一のセル、セルのグループ、一度にノートブック全体を実行することができます。ノートブックのセルの最大サイズはコンテンツ、出力共に16MBとなっています。
新規のセルを作成するには、セルの上端、下端にカーソルを移動し、
アイコンをクリックします。また、ノートブックセルメニューで
をクリックし、Add Cell AboveかAdd Cell Belowを選択することもできます。
コードセルにおいては、単にセルにコードを入力します。マークダウンセルを作成するには、セルの言語ボタンからMarkdownを選択するか、セルの上部に%mdと入力します。マークダウンセルのコンテンツはHTMLとしてレンダリングされます。例えば、以下のスニペットはレベル1の見出しのマークアップです。
%md # Hello This is a Title
これはHTMLタイトルとしてレンダリングされます。
セルのカット、コピー、ペースト
セルをカット、コピーするにはいくつかの方法が存在します。
- 一番右のセルメニューのをクリックし、Cut CellかCopy Cellを選択します。
- キーボードショートカットを使います。カットするには
Command-XかCtrl-X、コピーするにはCommand-CかCtrl-Cを使います。 - ノートブックの上部のEditメニューを使います。Cut current cellかCopy current cellを選択します。
セルをコピーした後は、ノートブックの任意の場所、異なるノートブック、別のブラウザタブ、ウィンドウで開いているノートブックの好きな場所にこれらのセルを貼り付けることができます。セルを貼り付けるには、キーボードショートカットCommand-VかCtrl-Vを使います。現在のセルの下にセルが貼り付けられます。
セルのカット、ペーストのアクションを取り消すには、キーボードショートカットCommand-ZかCtrl-Zを使用します。
注意
Safariを使っている場合にはキーボードショートカットを使う必要があります。
-
セルをカットアンドペーストするには、セルアクションメニューで
をクリックし、Cut Cellを選択します。そして、別のセルのセルアクションメニューからPaste AboveかPaste Belowを選択します。Edit > Undo Cut Cellsを用いてセルのカットを復旧することができます。
-
隣接するセルを選択するにはマークダウンセルをクリックし、上下のセルを選択するためにShift + UpかDownを使用します。グループとして選択されたセルをコピー、カット、ペースト、削除するために編集メニューを使用します。すべてのセルを選択するには、Edit > Select All CellsかコマンドモードのショートカットCmd+Aを使います。
ノートブックの目次
自動で生成される目次を表示するには、ノートブックの左上(サイドバーと一番最初のセルの間)にある矢印をクリックします。目次はノートブックで作成されたマークダウンの見出しから生成されます。
目次を閉じるには、左向きの矢印をクリックします。
セルの表示オプション
ノートブックには3つの表示オプションがあります。
- Standard view: 処理結果がコードセルの直後に表示されます。
- Results only: 処理結果のみが表示されます。
- Side-by-side: コードと処理結果が隣り合わせに表示されます。
表示オプションを選択するにはビューメニュー
を使います。
行番号、コマンド番号
行番号、コマンド番号を表示するには、ViewメニューからShow line numbers、Show command numbersを選択します。行番号に関しては、キーボードショートカットControl+Lで行番号の表示を切り替えることができます。
行番号、コマンド番号を表示させた場合には、Databricksは設定を保存し、ブラウザー上での他のノートブックにおいても表示するようにします。
セルの上にあるコマンド番号は、当該セルへのリンクとなっています。セルに対応するコマンド番号をクリックすると、URLが当該コマンドへのものに更新されます。特定のコマンドへのリンクを作成したい場合には、コマンド番号を右クリックして、copy link addressを選択します。
ダークモードでノートブックを参照
ノートブックをダークモードで表示することができます。ダークモードの表示を切り替えるには、View > Notebook ThemeでLight ThemeかDark Themeを選択します。
セルのコンテンツの表示、非表示
セルのコンテンツはセルのコードと実行した際の結果から構成されます。セルのコードと結果の表示・非表示を一番右のアクションメニューから切り替えることができます。
セルコードを非表示にするには、
-
をクリックし、Hide Codeを選択します。
セルの処理結果の表示、非表示を切り替えるには以下のいずれかを行います。
-
をクリックし、Hide Resultを選択します。
-
を選択します。 - Esc > Shift + oをタイプします。
非表示のセルコードや結果を表示するには、Showリンクをクリックします。
見出しの折りたたみもご覧ください。
見出しの折りたたみ
マークダウンの見出しを含むセル以降のセルを見出しのセルに折り畳むことができます。以下の画像では、以降の2つのセルが折り畳まれたHeading 1というレベル1の見出しを示しています。
折り畳まれた見出しを展開、たたみ込むには**+や-**をクリックします。
セルのコンテンツの表示、非表示もご覧ください。
ノートブック全体でマークダウンの見出しを含むセル以降のセルを展開、たたみ込むにはViewメニューのCollapse all headingsを選択します。
ノートブックの計算リソース
このセクションでは、ノートブックの計算リソースのオプションをカバーします。Databricksクラスターでノートブックを実行することができ、SQLコマンドに関しては、SQL分析に最適化された計算リソースタイプであるSQLウェアハウスを使用するオプションもあります。
ノートブックをクラスターにアタッチ
クラスターにノートブックをアタッチするには、クラスターレベルでCan Attach権限が必要となります。
重要！
ノートブックがクラスターにアタッチされている限り、ノートブックに対するCan Run権限を持つすべてのユーザーはクラスターにアクセスできる暗黙的な権限を持つことになります。
クラスターにノートブックをアタッチするには、ノートブックツールバーのクラスターセレクターをクリックし、ドロップダウンメニューからクラスターを選択します。メニューには最近使用したクラスターや稼働中のクラスターが一覧されます。
利用可能なすべてのクラスターから選択するには、**More…**をクリックし、ダイアログのドロップダウンメニューから既存のクラスターを選択します。
また、ドロップダウンメニューからCreate new resource… を選択することで新規のクラスターを作成することができます。
重要!
アタッチされたノートブックでは、以下のApache Spark変数を利用できます。
| クラス | 変数名 |
|---|---|
| SparkContext | sc |
| SQLContext/HiveContext | sqlContext |
| SparkSession (Spark 2.x) | spark |
独自にSparkSession、SparkContext、SQLContextを作成しないでください。作成すると動作に一貫性がなくなります。
SQLウェアハウスでノートブックを使う
プレビュー
本機能はパブリックプレビューです。
SQLウェアハウスにノートブックがアタッチされている際、SQLとマークダウンのセルを実行することができます。他のすべてのセル(Python、R、その他の言語)は無視されます。SQLウェアハウスで実行されたSQLセルはSQLウェアハウスのクエリー履歴に表示されます。
ノートブックの実行にはProあるいはサーバレスのSQLウェアハウスが必要となります。ワークスペースとSQLウェアハウスへのアクセス権が必要です。
ノートブックをSQLウェアハウスにアタッチするには、以下を実施します:
-
ノートブックツールバーのコンピュートセレクターをクリックします。ドロップダウンメニューに、現在実行中あるいは最近使用した計算資源が表示されます。SQLウェアハウスには
SQLというマークがついています。 -
メニューからSQLウェアハウスを選択します。
利用可能なすべてのSQLウェアハウスを参照するには、ドロップダウンから More... を選択します。ノートブックから利用できるす計算リソースを表示するダイアログが表示されます。SQL Warehouseを選択し、使用したいウェアハウスを選択しAttachをクリックします。
SQLウェアハウスの制限は以下の通りです:
- SQLウェアハウスにアタッチすると、実行コンテキストには8時間のアイドルタイムアウトがあります。
- 返却される結果の最大サイズは、10,000行あるいは2MBの小さい方となります。
- SQLウェアハウスでワークフローやスケジュールしたジョブを実行することはできません。
- SQLウェアハウスにノートブックをアタッチした際、ノートブックパラメータやウィジェットはサポートされません。
- SQLエディタに表示されるクエリープロファイルは、ノートブックには表示されません。しかし、クエリープロファイルを参照することはできます。
クラスターからノートブックをデタッチ
クラスターからノートブックをデタッチするには、ノートブックツールバーのクラスターセレクターをクリックし、アタッチしているクラスターにマウスカーソルを移動してサイドメニューを表示します。サイドメニューからDetachを選択します。
またクラスター詳細ページのNotebookタブを用いて、クラスターからノートブックをデタッチすることもできます。
クラスターからノートブックをデタッチすると実行コンテキストが削除され、ノートブックからすべての計算された変数値がクリアされます。
ティップス
使用していないノートブックはクラスターからデタッチすることをお勧めします。これによってドライバーのメモリーを解放します。