AWS, Azureのデータレイクストレージ (S3, Blob, ADLS gen2) 上にあるデータを、データブリックス上にロードする際のサンプルノートブックを作ったのでここにまとめておきます。
みなさまご自由にご利用ください。
AWS S3
参考: Databricksから S3 bucket へのアクセス方法を整理してみた
- AccessKey認証: サンプルノートブック
- Instance Profile設定: 参考サイト(ナレコム様)
Azure Blob
- Storage Account認証: サンプルノートブック
- SAS認証: サンプルノートブック
Azure Data Lake Storage gen2
-
Storage Account認証: (参考: Qiita記事)
-
SAS認証:(参考: Qiita記事)
-
Service Principal:(参考: Qiita記事), (参考:構築Blog)
(*) もし問題や改善点があればお知らせください。