AzCopyでAzure Storageへデータをコピー

BLOBへファイルをアップロードするツールとしては、いくつかのクライアントが知られていますが、MSがよく紹介しているのがAzCopy。
マルチスレッドに対応していて高速ということでその使い方。

基本はMSさんのサイトを参考に。

ダウンロード

ここでダウンロード。

ディレクトリ以下をアップロード

AzCopy /Source:ローカルのフォルダ・ファイル /Dest:ブロブ /DestKey:ブロブのキー

AzCopy /Source:C:\Users\hoge\Desktop\data /Dest:https://hoge.blob.core.windows.net/data /DestKey:key

ディレクトリ以下のファイルをしてしてアップロード

AzCopy /Source:ローカルのフォルダ・ファイル /Dest:ブロブ /DestKey:ブロブのキー /Pattern:ファイル名

AzCopy /Source:C:\Users\hoge\Desktop\data /Dest:https://hoge.blob.core.windows.net/data /DestKey:key /Pattern:test.txt

エラーへの対応

AzCopyはコア数に応じて並列処理を行うそうです。が、プアな通信環境で過度な並列処理が行われると帯域を専有してしまい、結果として処理が失敗するようです。。。私の環境ではtimeoutが頻発しました。

並列数は、/NC:n オプションで指定することができるので、エラーが発生する場合は、NC値を小さくしてみると良いでしょう。

私のPCは4コアだったので、それ以下の2にしてみるととりあえずエラー無く動きました。

/NC:2

これをおしり等に付け加えます。