はじめに
自分用の資料のリンク
azure data lake gen2 はファイルのアップロード方法が複数ある。
hdfs cmd
hadoop 3.2.1からazure data lake gen2をサポート
https://docs.microsoft.com/ja-jp/azure/storage/blobs/data-lake-storage-use-hdfs-data-lake-storage
https://hadoop.apache.org/docs/current/
https://iwasakims.github.io/trunk/hadoop-project/hadoop-azure/abfs.html
認証方式
- access key
- managed identity
sas tokenは使えない
azcopy
azcopy cpコマンドでローカルからdata lake gen2にアップロードできる。
ローカルからdata lake gen2からのアップロードはネイティブapiだが、data lake gen2からdata lake gen2へのコピーはblobのapiを使う。
認証方式
- sas token
- managed identity
access keyは使えない
python SDK
azure-storage-file-datalake
というモジュールがあるが、まだプレビュー段階（2020年1月段階)
https://pypi.org/project/azure-storage-file-datalake/
https://docs.microsoft.com/ja-jp/azure/storage/blobs/data-lake-storage-directory-file-acl-python
認証方式
- sas token
- access key
- managed identity
azure-storage-blob
こちらはプレビューではないが、data lake gen2のapiではなく、blobのapiを使う。
https://pypi.org/project/azure-storage-blob/
https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-quickstart-blobs-python
認証方式
- sas token
- access key
- managed identity