1. はじめに

昨年末、自宅のPCに古い細々したデータがたまってきたので最終更新日時が一定期間経過したデータをAWSのクラウドスレージサービスS3へアーカイブするスクリプトを PowerShell で書いていました。

単純にコピーするだけであれば、AWSで提供している「AWS Tools for Windows PowerShell」の Write-S3Objectコマンドを使えば簡単に実行できます。
ただし、S3にコピーしたからといって、ローカルのデータは消すには勇気がいります。**「本当にコピー元と先で同一なんだよね？」**って若干不安になりました。

そこで、単にS3へコピーしてローカルのデータを削除してしまうのではなく、コピーしたらコピー元と先で同一であるかを検証する処理を加えることにしました。
検証するに当たり、S3の仕様について色々と気づきがありましたので、その内容を共有いたします。

2. 必要な準備

2.1. AWS Tools for Windows PowerShell のインストール

　以下のページからAWS Toolsをダウンロードして、インストールします。
　https://aws.amazon.com/jp/powershell/

　詳細なセットアップ手順や前提条件は以下のページに記載されています。
　https://docs.aws.amazon.com/ja_jp/powershell/latest/userguide/pstools-getting-set-up-windows.html#prerequisites

2.2. プロファイルの作成

　上記のAWS Toolsをインストールしたら、AWSアカウントのアクセスキーとシークレットキーを Set-AWSCredential コマンドで登録し、プロファイルを作成します。

　https://docs.aws.amazon.com/ja_jp/powershell/latest/userguide/specifying-your-aws-credentials.html

# 例1）プロファイルの登録
PS C:\> Set-AWSCredential -AccessKey アクセスキー -SecretKey シークレットキー -StoreAs プロファイル名

これで、必要な準備は完了です。

3. S3の仕様

3.1. マルチパート・アップロード機能について

PowerShellでS3へアップロードする場合、Write-S3Object コマンドを利用します。
Write-S3Object によるアップロードは、16MB以上のデータが対象となる場合強制的にマルチパート・アップロードが実行されます。
マルチパート・アップロードは、ローカルデータを5MBのブロックサイズに区切り、S3へ並列でアップロードする処理を指します。
デフォルトでは、10パート並列でアップロードが実行されます。並列での同時アップロード数は -ConcurrentServiceRequest サブコマンドで制御することもできるので、簡易的な帯域制御が可能です。
（ netstatコマンドで確認したところ、確かに10セッションがS3に対して確立されていました。）

3.2. S3オブジェクトのeTagプロパティについて

S3へアップロードしたデータの完全性（コピー元と先で同一であるか）を検証するため、調査していたら、S3のeTagプロパティがローカルデータのMD5ダイジェストと一致することに気づきました。
（公式にもMD5ダイジェストを利用している記述がありました。）
これを比較すれば、ローカルデータがS3上に完全な状態でコピーされたことを確認できると思ったのですが、、マルチパート・アップロードが行われる際はうまく適用できませんでした。
というのも、S3のeTagはマルチパート・アップロードの有無によって、以下のロジックを使い分けて、eTagを計算しているからです。

i. マルチパート・アップロード無（16MBよりも小さいデータ）のeTag

　ローカルデータのMD5ダイジェストと一致
　例）10MBのデータ
　S3のeTagプロパティ：cd573cfaace07e7949bc0c46028904ff
　ローカルデータのMD5：cd573cfaace07e7949bc0c46028904ff

ii. マルチパート・アップロード有（16MB以上のデータ）のeTag

　①データをバイナリ形式で読み取る
　②パート毎に区切り、それぞれのMD5ダイジェストを取得する
　 ※S3のパートサイズは5MB
　③パート毎のMD5ダイジェストを結合する
　④結合したMD5ダイジェストのMD5ダイジェストを取得する
　⑤マルチパートの総パート数をハイフン付きで④の末尾に付加する

　例）1GBのデータ
　S3のeTagプロパティ：cb45770d6cf51effdfb2ea35322459c3-205

4. 完全性の検証

4.1. 検証の方針

ファイルサイズ（16MBが閾値）に応じて、S3のeTagの値をローカルデータから計算し、実際のeTagプロパティと比較することにしました。
マルチパート・アップロード有（16MB以上のデータ）のeTag計算は、以下のコードを参考にしました。（計算ロジックに若干の修正をしています。）

Calculate Amazon eTag hash for named file. Powershell
https://gist.github.com/seanbamforth/9388507

4.2. 検証の結果

fsutil コマンドで作成した15MB、16MB、17MBのダミーファイルや大容量ファイルで検証してみましたが、いずれもローカルデータから計算したS3のeTag値と実際のeTagプロパティが一致していることを確認できました。
以上をもって、「コピー元と先で同一であること」を確認する手順を確立したので、この手順で完全性を確認できた際は、安心してローカルのデータを削除できます。

5. あとがき

検証に利用したPowershellコマンド群を「S3のeTag値をローカルデータから計算する関数 Get-S3ETagHash」と「完全性を確認してローカルデータを削除するという一連の処理をする関数 Archive-FileToS3」としてスクリプトにまとめました。
（前者は、https://gist.github.com/seanbamforth/9388507 を参考にしています）

このスクリプト Archive-FileToS3.ps1 をインポートすることで、以下のように関数を利用できます。参考までに下に掲載しておきます。

# 例2）スクリプトのインポートと関数の利用方法
PS D:\Tmp> Import-Module .\Archive-FileToS3.ps1

PS D:\Tmp> Get-S3ETagHash -Path D:\Tmp\16MB.txt

Algorithm Hash                               Path           
--------- ----                               ----           
S3ETag    eafa449afe224ad0b7f8f5bab4145d13-4 D:\Tmp\16MB.txt


PS D:\Tmp> Archive-FileToS3 -Path アーカイブ対象フォルダ -Bucketname バケット名 -Days 期間

[参考]Powershell スクリプト（Archive-FileToS3.ps1）

Archive-FileToS3.ps1

# Archive-FileToS3 archives local files which is older than specified days in a path to S3bucket with verifying integrity of uploaded S3objects.
# The verification method is to check if an eTag of S3object matches an eTag value calculated from a local file.

# Get-S3ETagHash calculates an eTag for a local file that should match the S3 eTag of the uploaded file. 
# Credit goes to Sean Bamforth (https://gist.github.com/seanbamforth/9388507) and chrisdarth(https://gist.github.com/chrisdarth/02d030b31727d70d2c63)

function Archive-FileToS3 {
    [cmdletbinding()]
    Param (
        [Parameter(Mandatory=$true)]
        [ValidateScript({ Test-Path $_ -PathType Container })]
        [string]$Path,
        [Parameter(Mandatory=$true)]
        [ValidateScript({ $( Get-S3Bucket -BucketName $_ ) })]
        [string]$Bucketname,
        [Parameter(Mandatory=$true)]
        [Int32]$Days,
        [Int32]$ConcurrentServiceRequest = 10
    )
    if ($Path[$Path.Length-1] -eq "\" ){ $Path = $Path.Substring(0,$Path.Length-1) }
    foreach ($file in $(Get-ChildItem $Path -Recurse | Where-Object{$_.Attributes -ne "directory"})){
        if ($file.LastWriteTime -lt ((Get-Date).AddDays(-$Days))){
            Write-S3Object -BucketName $Bucketname -Key $file.FullName.Substring($Path.Length + 1) -File $file.FullName -ConcurrentServiceRequest $ConcurrentServiceRequest
            $s3object = Get-S3Object -BucketName $Bucketname -Key $file.FullName.Substring($Path.Length + 1)
            $etag = $s3object.etag.Replace("`"","")
            $hash = $(Get-S3ETagHash($file.FullName)).Hash
            if ($etag -eq $hash){
                Remove-Item $file.FullName -Force
            }else{
                Remove-S3Object -BucketName $Bucketname -Key $file.FullName.Substring($Path.Length + 1) -Force
            }
        }
    }
}

function Get-S3ETagHash {
    [cmdletbinding()]
    Param (
        [Parameter(Mandatory=$true)]
        [ValidateScript({ Test-Path $_ -PathType Leaf })]
        [string]$Path,
        [Int32]$ChunkSize = 5
    )
    $filename = Get-Item $Path
    $md5 = new-object -TypeName System.Security.Cryptography.MD5CryptoServiceProvider

    $blocksize = (1024*1024*$ChunkSize)
    $startblocks = (1024*1024*16)
    
    $lines = 0
    [byte[]] $binHash = @()
 
    $reader = [System.IO.File]::Open($filename,"OPEN","READ")
    
    if ($filename.length -ge $startblocks) {
        $buf = new-object byte[] $blocksize
        while (($read_len = $reader.Read($buf,0,$buf.length)) -ne 0){
            $lines   += 1
            $binHash += $md5.ComputeHash($buf,0,$read_len)
        }
        $binHash=$md5.ComputeHash( $binHash )
    }
    else {
        $lines   = 1
        $binHash += $md5.ComputeHash($reader)
    }
 
    $reader.Close()
    
    $hash = [System.BitConverter]::ToString( $binHash )
    $hash = $hash.Replace("-","").ToLower()
 
    if ($lines -gt 1) {
        $hash = $hash + "-$lines"
    }
    
    # Output pscustomobject, equal to Get-FileHash
    [pscustomobject]@{
        Algorithm = "S3ETag"
        Hash =$hash
        Path = $filename.FullName
    }
    return
}