概要
Azure Blob Storage にあるファイルをローカルにダウンロードするPythonプログラムです。
実行環境
macOS Monterey 12.3.1
python 3.8.12
azure cli 2.41.0
BLOB情報
ストレージアカウントの接続文字列の取得
$ az storage account show-connection-string --name [StorageAccountName] --resource-group [ResourceGroupName] -o table
ConnectionString
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=[StorageAccountName];AccountKey=[StorageAccountKey1]
今回の対象とするBLOBの取得
# BLOBのリスト
$ az storage blob list --account-name [StorageAccountName] --container-name partnercenter -o table
Name Blob Type Blob Tier Length Content Type Last Modified Snapshot
--------------------------------------------------------------------------------------------- ----------- ----------- -------- ------------------------ ------------------------- ----------
billing-data BlockBlob Hot 2022-10-24T16:06:44+00:00
billing-data/TestExport BlockBlob Hot 2022-10-24T16:06:44+00:00
billing-data/TestExport/20220901-20220915 BlockBlob Hot 2022-10-24T16:06:44+00:00
billing-data/TestExport/20220901-20220915/TestExport_6f92daf0-5c57-441d-a386-401ecd240d4c.csv BlockBlob Hot 820610 application/octet-stream 2022-10-24T16:06:47+00:00
billing-data/TestExport/20220901-20220915/TestExport_eb4fcbd4-7f59-4eb1-9ad5-38cd9dc84b3f.csv BlockBlob Hot 820610 application/octet-stream 2022-10-25T06:37:28+00:00
PythonプログラムでBLOBの確認
実行するプログラム
blob_download.py
import os
from azure.storage.blob import BlobServiceClient
# 接続文字列
CONNECTION_STRING = "[ストレージアカウント接続文字列]"
# コンテナ名
CONTAINER_NAME = "partnercenter"
# ローカルファイルパス（BLOBのターゲットと同一名）
LOCAL_PATH = "billing-data"
# Blobファイルをローカルにダウンロード
def blob_file_download():
# 接続文字列を用いてBlobServiceClientを作成
blob_service_client = BlobServiceClient.from_connection_string(CONNECTION_STRING)
# BLOB一覧の取得
blob_container = blob_service_client.get_container_client(CONTAINER_NAME)
blob_list = blob_container.list_blobs()
# BLOBデータのダウンロード
print(f'Download target blob : {os.path.join(LOCAL_PATH, "*")}')
for blob in blob_list :
# ローカル構成もBLOBディレクトリ構成と同一にする
if blob.name.startswith(LOCAL_PATH) :
# ディレクトリはスルー、ファイルのみダウンロード
if blob.size > 0 :
dirname, filename = os.path.split(blob.name)
print("Directory Name : ", dirname)
print("File Name : ", filename)
bytes = blob_container.get_blob_client(blob).download_blob().readall()
save_blob(blob.name, bytes)
else :
print(f'Ignore blob : {blob.name}')
# ダウンロードしたBlobファイルをローカルに保存します（既にファイルが存在した場合は上書処理）
def save_blob(file_name, file_content):
# ディレクトリ(がなければ)作成
os.makedirs(os.path.dirname(file_name), exist_ok=True)
# ファイル保存（BLOBフォルダと同一構成で保存）
with open(file_name, "wb") as file:
file.write(file_content)
if __name__ == "__main__":
blob_file_download()
プログラムの実行
## 実行
$ python blob_download.py
Download target blob : billing-data/*
Directory Name : billing-data/TestExport/20220901-20220915
File Name : TestExport_6f92daf0-5c57-441d-a386-401ecd240d4c.csv
Directory Name : billing-data/TestExport/20220901-20220915
File Name : TestExport_eb4fcbd4-7f59-4eb1-9ad5-38cd9dc84b3f.csv
## 確認
$ ls -l billing-data/TestExport/20220901-20220915
total 3216
drwxr-xr-x 4 ihoge staff 128 10 25 17:07 ./
drwxr-xr-x 3 ihoge staff 96 10 25 17:07 ../
-rw-r--r-- 1 ihoge staff 820610 10 25 17:21 TestExport_6f92daf0-5c57-441d-a386-401ecd240d4c.csv
-rw-r--r-- 1 ihoge staff 820610 10 25 17:21 TestExport_eb4fcbd4-7f59-4eb1-9ad5-38cd9dc84b3f.csv
まとめ
これで Pythonプログラム で Blob Storage からファイルをダウンロードできました。
参考記事
以下の記事を参考にさせていただきました。感謝申し上げます。
Azureストレージのコンテナーから、Pythonでファイルをダウンロードする
Azureストレージのコンテナーからディレクトリごと一括でダウンロードする