概要
Azure Databricksから、ADLS gen2ストレージにあるデータを取得する手順について確認したいと思います。
ここでは、最初のADLSgen2ストレージの作成方法について確認したいと思います。
Azure ADLS gen2の作成
ストレージアカウントの作成 (Azure Portal)
まずはADLSのストレージコンテナを作成するため、ストレージアカウントを作成します。
データブリックス・ワークスペース内でのみ利用するの場合、Azure Databricksと同じリソースグループを指定しておくと管理が楽になります。Azure リソースグループについてはこちらの記事が参考になりました。
- サブスクリプション/リソースグループ 上図の管理スコープを参考に既存のものを選択するか、新規作成をします。
- ストレージアカウント名・地域 を選択します。
-
パフォーマンス は
Standardで十分です。 -
冗長性 もデフォルトの
GRSにします。
次に進み詳細設定では、階層型名前空間を有効にするにチェックを入れます。これによりADLSgen2のファイルレベルアクセスが可能になります。
残りの設定は全てデフォルトのままでストレージアカウントを作成します。
コンテナの作成 (Azure Portal)
ストレージアカウントが作成出来たら、次にコンテナを作成します。コンテナが具体的なストレージオブジェクトとして、Notebookからアクセスする対象となります。
ストレージブラウザー - BLOBコンテナを選択します
コンテナーを追加する にて、新規作成します。
作成したコンテナ上にサンプルデータをアップロードしておきます。（後ほどロードするため）
サンプルcsvデータ
ここまでが共通のADLSストレージ作成作業になります。
データブリックスからストレージへのアクセス方法
ストレージが作成できたら、認証方式を決めて設定をします。各認証方式の特徴と設定方法はこちらをご覧ください。