8
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

AWSAdvent Calendar 2020

Day 6

Snowball Edgeが自宅に届いてからS3にインポートするまでの記録(2020年11月)

Last updated at Posted at 2020-12-05

はじめに

Snowballといえば、AWSソリューションアーキテクト・アソシエイトを受験されたことのある方なら「テラバイト級のデータをS3のバケットにインポートする、ときたらSnowball一択」でおなじみかと思います。マイナーなサービスでありながらアソシエイト試験の常連なのは、やはり宣伝の意味なのでしょうか。

本記事は、Snowball Edgeデバイス(以下「デバイス」)が自宅に到着後、データをデバイスにコピー、S3のバケットにデータのインポートが完了するまでの手順を記録したものです。そもそもSnowballとは何か?は、以下のドキュメントをご覧なさい。本記事では、公式ドキュメントには載ってない気づきを積極的に記録してみました。

AWS Snowball Edge 開発者ガイド

なお、本記事でSnowballEdgeクライアントやAWS CLIをインストールしたOSはWindows 10です。

Snowball Edge利用時の全体の流れ

  1. AWSマネージメントコンソールからジョブの作成
  2. AWSからデバイスの発送
  3. デバイスの受取り
  4. 事前準備
    1. デバイスのIPアドレス設定とLANへの接続
    2. Snowballのジョブダッシュボードからアンロックコードとマニフェストファイルの取得
    3. SnowballEdgeクライアントのセットアップ
    4. デバイスのロック解除
    5. (S3 Adapter利用時)ローカルのAmazon S3認証情報(AWS署名バージョン4)の取得
    6. (ファイルインタフェース利用時)仮想ネットワークインタフェースの作成
    7. (ファイルインタフェース利用時)PCからデバイス内のバケットにマウント
  5. デバイスへファイル転送
  6. 西濃運輸さんのWebサイトで集荷依頼の申込み
  7. AWSへデバイスの返送
  8. AWSにてデバイス内のファイルをS3へインポート

ジョブ作成からS3へのインポートまでのタイムライン

Snowballジョブでは、ジョブのステータスが更新される度にAmazon SNS経由でメールが送信されますが、このメールのタイムスタンプをもとに、各イベントのタイムラインをまとめてみました。

1. AWSから自宅へのデバイスの配送

今回は、ジョブ作成から約26時間後にデバイスが到着しました(土日祝日は挟まず)。受取日時の指定はできないため、例えばオンプレのデータセンターでデバイスを受取る場合、データセンターの入館証の発行申請とタイミングを合わせることは難しいため、代理人にデバイスの受取りを依頼するなど、そこら辺の手配がちょっと面倒かと思います。

日時 ステータス
11/05 10:09 ジョブ作成完了
11/05 11:09 AWSにてデバイスの手配開始
11/05 12:27 配送開始
11/06 12:20 運送会社からデバイスを受取り(自宅に到着)

2. 自宅からAWSへのデバイスの返送

デバイス返送後は、運送会社がデバイスを集荷してから、約1日18時間後にインポート完了しました(土日祝日は挟まず)。今回は、インポートしたデータ量が少なかったのでこの時間です。

集荷依頼時に集荷日時の指定はできますが、昨今のご時世もあり、指定時刻通りに集荷してもらうことはなかなか難しいようです(今回は集荷を10時に指定しましたが、実際には当日の18時頃に集荷していただけました)。

日時 ステータス
11/16 18:16 運送会社にデバイスを引渡し(自宅に集荷)
11/17 17:09 仕分け施設に到着
11/18 11:20 デバイスがAWSに到着
11/18 11:30 インポート開始
11/18 11:40 インポート完了

ジョブの作成

まず、Snowballダッシュボードから、ジョブを作成します。ジョブとは、デバイスの配送からS3へのインポートまでの1回のフローを表す概念です。

  • 今回は、デバイスはSnowball Edge Storage Optimized (100TB)を選択しました。

  • 現在では、デバイスにSnowball(Snowball Edgeでない)は選択できないようです。また、ストレージサイズの小さいSnowconeというデバイスもありますが、Snowconeは東京リージョンでは提供されていません(2020年11月現在)。

  • ジョブ作成画面で、S3のバケットへのアクセスを許可するためのロールを作成または選択します。IAMコンソールから作成したロールやポリシーを指定することも可能です。なお、指定可能なポリシーはインラインポリシーのみです。参考として、以下はロールとポリシーのJSONです。

ロールの信頼関係
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": "importexport.amazonaws.com"
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "AWSIE"
        }
      }
    }
  ]
}
ポリシー(インラインポリシー)
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketPolicy",
                "s3:GetBucketLocation",
                "s3:ListBucketMultipartUploads"
            ],
            "Resource": "arn:aws:s3:::*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:AbortMultipartUpload",
                "s3:ListMultipartUploadParts",
                "s3:PutObjectAcl"
            ],
            "Resource": "arn:aws:s3:::*"
        }
    ]
}
  • デバイスにファイルを読み書きするのに、S3 Adapterとファイルインタフェースを使用する場合、それぞれで使用するバケットを個別に作成することをおすすめします。同一バケットに、S3 Adapterとファイルインタフェースの両方で読み書きした場合の動作は保証されません。

  • ジョブ作成時、選択するKMSの暗号化キー(CMK)を選択できます(デフォルトはaws/importexport)。これは、デバイスへのファイル格納時の暗号化に使用されるものではなく、デバイス内に保存するアンロックコードの暗号化に使用されるものです。

  • 開発者ガイドには、SnowballEdgeはSSE-S3には対応しているがSSE-Cには対応していない、という説明がありますが、SSE-KMSはどうなの??…と思いましたが、SSE-KMSには対応していないものの、暗号化はされずにデバイス内のバケットにファイルが格納されます(デバイスにKMSがインストールされてるわけではないだろうし、デバイスへのデータ転送時にエラーになったりしないだろうか…と不安でしたが、杞憂でした)。インポート先のバケットにKMSキーによるサーバ側デフォルト暗号化(SSE-KMS)が設定されている場合でも、デバイスへのデータ転送は可能です

  • なお、SSE-S3なら暗号化されてデバイスに格納されるようです。

デバイスの配送

今回はジョブ作成後、約26時間後にデバイスが自宅に到着しました。ただし、AWSや運送業者さん(西濃シェンカー)の配送業務が平日のみの対応となる場合もありますので、配送が土日祝日に重なる場合はご注意ください。

デバイスが届いてから

1. 返送用伝票の確認

デバイスの側面に、デバイス返送時の手順が書かれたお知らせと、返送用伝票の入ったビニール袋が貼付されていました。
image.png

デバイス返送時の配送用伝票です。「ご依頼人」(発送主)の住所・氏名・電話番号は(画像ではマスキングしましたが)印字済みのため、自分で記入する項目は特になさそうです。
image.png

2. カバーの開け方

カバーの開け方ですが、丸い金属ボタンを押したまま、金具をボタン方向にスライドすると、カバーが開きます。

image.png

上面には、電源ケーブルが収納されています。ケーブル長は約1.8mです。
image.png

前面・背面のカバーは、90度開いた状態で奥にスライドすると収納できます(前面パネルの上部のオレンジの丸いボタンが電源ボタンです)。
image.png

3. ケーブルの接続

背面に電源ケーブルとLANケーブルを差します。左上にUSB3.1ポートx 2も見えますが、拡張用でしょうか。また、RJ45ポートの右側に怪しいポートがありますが、フタをスライドしてみたところ穴が塞がれていました。
image.png

4. デバイスの起動

電源ケーブルを差した瞬間、デバイスが起動を開始し、前面のLCDパネルに起動画面が流れます。起動音がけっこうな轟音なので最初はビビりますが、2分ぐらいで静かになります。

5. IPアドレスの設定

前面のLCDパネルから、Snowball EdgeにIPアドレス等を設定します。固定IPでも、DHCPでの設定でも可能です。
image.pngimage.png

6. Snowball Edgeクライアントの入手

Snowballに関連するツールとして、以下の3つが登場します。

  • Snowball Edgeクライアント … デバイスのロック解除など、デバイスの設定周りを行うCLIです。あくまでデバイスを制御するためのツールなので、このCLIでSnowball Edgeにファイル転送するわけではありません。
  • AWS OpsHub … Snowball EdgeクライアントのGUI版です。
  • S3 Adapter … デバイスにファイルをコピーをするツールです。といっても「S3 Adapter」という名前のツールがあるわけではなく、実体としてAWS CLIのS3コマンドやS3 APIを指します。ただし、開発者ガイドで「APIオペレーションのサブセットがサポート」と表現されているように、Snowball EdgeではAWS CLIやS3 APIの使用可能なパラメータは制限されています。また、開発者ガイドで指定されているように、Snowball EdgeではAWS CLIバージョン1.16.14を使用します。

このうち、Snowball Edgeクライアント(CLI)とAWS OpsHub(GUI)は用途が同じツールなので、いずれか一方をインストールすればよいです。EC2インスタンスをホスティングするなら、AWS OpsHubのほうが使い勝手が良いですかね。今回は、Snowball Edgeクライアントを使用しました。

後述しますが、ファイル転送はS3 Adapterだけでなく、ファイルインタフェース(NFS)でも可能です。

以下から、Snowball Edgeクライアントをダウンロードし、インストールします。

AWS Snowball のリソース
image.png

7. Snowball Edgeクライアントの設定

Snowball Edgeクライアントのインストールが完了したら、プロフィールを設定します。
プロフィールの設定には、以下の情報が必要となります。

  • マニフェストファイル … マネージメントコンソールのSnowballのジョブダッシュボードの、ジョブの詳細からダウンロードできます。Snowball Edge Manifest Pathに絶対パスを指定します。
  • アンロックコード … ジョブの詳細の「クライアント解除コード」に表示される、ハイフン区切りのコードです。Unlock Codeに指定します。
  • デフォルトエンドポイント … デバイス内のS3のURL(https://IPアドレス)です。IPアドレスは、前面のLCDパネルで設定したIPアドレスです。Default Endpointに指定します。
(初回のみ)SnowballEdgeクライアント用のプロフィールの設定
>snowballEdge configure
Configuration will stored at C:\Users\yz2cm\.aws\snowball\config\snowball-edge.config
Snowball Edge Manifest Path: G:\local\aws\snowball\JIDxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx_manifest.bin
Unlock Code: xxxxx-xxxxx-xxxxx-xxxxx-xxxxx
Default Endpoint: https://192.168.179.4

8. デバイスのロック解除

ロックの解除は、デバイスを起動する毎に行います。

事前にデバイスの状態を確認します。
ロック解除前は、StateLOCKEDとなっていることが分かります。

デバイスのステータス表示

>snowballEdge describe-device
{
  "DeviceId" : "JIDa462ddf6-68a4-496d-a8f4-b6ead73396ad",
  "UnlockStatus" : {
    "State" : "LOCKED"
  },

以下コマンドで、ロックを解除します。

デバイスのロック解除
>snowballEdge unlock-device
Your Snowball Edge device is unlocking. You may determine the unlock state of your device using the describe-device command. Your Snowball Edge device will be available for use when it is in the UNLOCKED state.

UnlockStatusLOCKEDUNLOCKINGUNLOCKEDに遷移します。UNLOCKEDになった時点でアクセス可能となります。

デバイスのステータス表示
>snowballEdge describe-device
{
  "DeviceId" : "JIDa462ddf6-68a4-496d-a8f4-b6ead73396ad",
  "UnlockStatus" : {
    "State" : "UNLOCKED"
  },

S3 Adapterを使用したファイル転送

1. ローカルのAmazon S3認証情報(アクセスキーID、シークレットアクセスキー)の取得

S3 Adapterを使用したファイル転送には、ローカルのAmazon S3認証情報(AWS署名バージョン4)(アクセスキーIDとシークレットアクセスキー)が必要です。この認証情報は、AWSクラウドのIAMユーザのアクセスキーIDとシークレットアクセスキーとは異なるものです。

以下のコマンドを実行して、認証情報を取得します。

アクセスキーIDの表示
>snowballEdge list-access-keys
{
  "AccessKeyIds" : [ "AKIAIOSFODNN7EXAMPLE" ]
}
シークレットアクセスキーの表示
>snowballEdge get-secret-access-key --access-key-id AKIAIOSFODNN7EXAMPLE
[snowballEdge]
aws_access_key_id = AKIAIOSFODNN7EXAMPLE
aws_secret_access_key = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

以上で得られた認証情報を、aws configureでコンフィグファイルに設定します。
Snowballダッシュボードの画面上部の注意書き(以下)にもあるように、リージョン名にはsnowを指定します。
image.png

アクセスキーとシークレットアクセスキーをコンフィグファイルへ保存
>aws configure --profile snowballEdge
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [None]: snow
Default output format [None]: json

以上で、AWS CLIでデバイスにファイル転送する準備ができました。

S3 AdapterはAWS CLIやS3 APIのサブセットです。AWS CLIのサポートされているコマンド、サポートされているS3 APIは、開発者ガイドを参照してください。

S3_Adapterでのファイル転送
aws s3 cp sample.txt s3://sample-bucket/sample.txt --profile snowballEdge --endpoint http://192.168.179.4:8080 --region snow
aws s3 ls s3://sample-bucket --recursive --profile snowballEdge --endpoint http://192.168.179.4:8080 --region snow

ファイルインタフェースを使用したファイル転送

AWS CLIを使用するほかに、デバイス内のバケットをマウントして、ファイルインタフェース経由でファイル転送もすることも可能です。分かりやすく言うと、デバイス内のストレージをPCにマウントして、NFS経由でファイルコピーすることです。

ファイルインタフェースはデフォルト設定では使用できませんので、事前準備として以下の手順を実施します。

  1. 仮想ネットワークインタフェースの作成(snowballEdge create-virtual-network-interface
  2. 作成した仮想ネットワークインタフェースのARNの確認(snowballEdge describe-virtual-network-interfaces
  3. ファイルインタフェースサービスの起動(snowballEdge start-service
  4. NFSクライアントの有効化(Windowsの設定変更)
  5. バケットをマウント(mount

1.仮想ネットワークインタフェースの作成

まず、以下コマンドで、物理ネットワークインタフェース(本記事ではRJ45)の物理ネットワークインタフェースIDを確認します。
PhysicalConnectorTypeRJ45であるところのPhysicalNetworkInterfaceIdの値(例:s.ni-8409e6b33247333d6)をメモします。

>snowballEdge describe-device
{
  "DeviceId" : "JIDa462ddf6-68a4-496d-a8f4-b6ead73396ad",
  "UnlockStatus" : {
    "State" : "UNLOCKED"
  },
  "ActiveNetworkInterface" : {
    "IpAddress" : "192.168.179.4"
  },
  "PhysicalNetworkInterfaces" : [ {
    "PhysicalNetworkInterfaceId" : "s.ni-89b8db4ee981cdf40",
    "PhysicalConnectorType" : "QSFP",
    "IpAddressAssignment" : "STATIC",
    "IpAddress" : "0.0.0.0",
    "Netmask" : "0.0.0.0",
    "DefaultGateway" : "192.168.179.1",
    "MacAddress" : "00:00:5E:00:53:fc"
  }, {
    "PhysicalNetworkInterfaceId" : "s.ni-89053899faa1a9aa5",
    "PhysicalConnectorType" : "SFP_PLUS",
    "IpAddressAssignment" : "STATIC",
    "IpAddress" : "0.0.0.0",
    "Netmask" : "0.0.0.0",
    "DefaultGateway" : "192.168.179.1",
    "MacAddress" : "00:00:5E:00:53:fd"
  }, {
    "PhysicalNetworkInterfaceId" : "s.ni-8409e6b33247333d6",
    "PhysicalConnectorType" : "RJ45",
    "IpAddressAssignment" : "STATIC",
    "IpAddress" : "192.168.179.4",
    "Netmask" : "255.255.255.0",
    "DefaultGateway" : "192.168.179.1",
    "MacAddress" : "00:00:5E:00:53:fb"
  } ],
...

以下コマンドで、仮想ネットワークインタフェースを作成します。
メモしたPhysicalNetworkInterfaceIdの値を、--physical-network-interface-idに指定して以下コマンドを実行します。

仮想ネットワークインタフェースはSnowballEdgeを再起動しても消滅しませんので、以下コマンドは初回設定時のみ実行します。

(初回のみ)仮想ネットワークインタフェースの作成
>snowballEdge create-virtual-network-interface ^
--physical-network-interface-id s.ni-8409e6b33247333d6 ^
--ip-address-assignment STATIC ^
--static-ip-address-configuration IpAddress=192.168.179.10,Netmask=255.255.255.0

{
  "VirtualNetworkInterface" : {
    "VirtualNetworkInterfaceArn" : "arn:aws:snowball-device:::interface/s.ni-8e9c511fe6515c86c",
    "PhysicalNetworkInterfaceId" : "s.ni-8409e6b33247333d6",
    "IpAddressAssignment" : "STATIC",
    "IpAddress" : "192.168.179.10",
    "Netmask" : "255.255.255.0",
    "DefaultGateway" : "192.168.179.1",
    "MacAddress" : "00:00:5E:00:53:89"
  }
}

2. 作成した仮想ネットワークインタフェースのARNの確認

仮想ネットワークインタフェースのARNはサービス起動毎に変化しますので、以下のコマンドでARNを確認します。

仮想ネットワークインタフェースのARNの表示
>snowballEdge describe-virtual-network-interfaces
{
  "VirtualNetworkInterfaces" : [ {
    "VirtualNetworkInterfaceArn" : "arn:aws:snowball-device:::interface/s.ni-8e9c511fe6515c86c",
    "PhysicalNetworkInterfaceId" : "s.ni-8409e6b33247333d6",
    "IpAddressAssignment" : "STATIC",
    "IpAddress" : "192.168.179.10",
    "Netmask" : "255.255.255.0",
    "DefaultGateway" : "192.168.179.1",
    "MacAddress" : "00:00:5E:00:53:45"
  } ]
}

3. ファイルインタフェースサービスの起動

上記コマンドの結果のVirtualNetworkInterfaceArnに表示された値(arn:aws:snowball-device:::interface/s.ni-8e9c511fe6515c86c)を指定して、以下コマンドでファイルインタフェースサービスを起動します。

>snowballEdge start-service ^
--service-id fileinterface ^
--virtual-network-interface-arns arn:aws:snowball-device:::interface/s.ni-8e9c511fe6515c86c

Starting the service on your Snowball Edge. You can determine the status of the service using the describe-service command.

以下コマンドで、ファイルインタフェースのステータスを確認します。
StateACTIVEになればアクティベート完了です。1~2分で完了する時もあれば、10分以上かかる時もあります(開発者ガイドには「1時間以上かかる場合もある」とあります)。Stateは、INACTIVEACTIVATINGACTIVEと変遷します。

ファイルインタフェース(アクティベート中)
>snowballEdge describe-service --service-id fileinterface

{
  "ServiceId" : "fileinterface",
  "Status" : {
    "State" : "ACTIVATING"
  },
  "ServiceCapacities" : [ {
    "Name" : "S3 Storage",
    "Unit" : "Byte",
    "Used" : 2919552,
    "Available" : 92451374477312
  } ]
}
ファイルインタフェース(アクティベート完了)
>snowballEdge describe-service --service-id fileinterface

{
  "ServiceId" : "fileinterface",
  "Status" : {
    "State" : "ACTIVE"
  },
  "ServiceCapacities" : [ {
    "Name" : "S3 Storage",
    "Unit" : "Byte",
    "Used" : 2919552,
    "Available" : 92451374477312
  } ]
}

4. NFSクライアントの有効化(Windows 10)

「ファイル名を指定して実行」からappwiz.cplを実行し「プログラムと機能」を開きます。

image.png

「Windowsの機能の有効化または無効化」をクリックして、「NFS用サービス」の「NFSクライアント」のチェックをオンにします。

image.png

image.png

5. バケットをマウント

mountコマンドで、SnowballEdgeのバケットをマウントします。

バケットをマウント
>mount -o nolock 192.168.179.10:/sample-bucket Z:

Z: は 192.168.179.10:/sample-bucket に正常に接続しました

コマンドは正常に終了しました。

マウント完了後は、エクスプローラ経由でファイルをコピーすることができるようになります。

6. ファイルインタフェースサービスの停止

以下コマンドで、バッファの内容をファイルにフラッシュし、サービスを終了します。

>snowballEdge stop-service --service-id fileinterface
Stopping the service on your Snowball Edge. You can determine the status of the service using the describe-service command.

【補足1】ファイル名の文字コード

SnowballおよびS3は、ファイル名のエンコーディングはUTF8が推奨されています。

しかし、Windowsのmountではマウントするドライブの文字コードにUTF8を指定できないようです。ですので、Windowsから日本語ファイル名のファイルをファイルインタフェースで転送するとファイル名をSJISで渡すことになるため、実質上、日本語のファイル名は使用できません。

例えば、ファイル名の「あああ」という文字列は、S3へインポート後「������」に文字化けしていました。
image.png

余談ですが、サロゲートペア文字を含むファイル名(𩸽.txt)を転送し、エクスプローラの表示を更新したところ、ファイル名「??」でファイルを作成されてしまいました。

image.png

image.png

そして、なぜか??.txtを削除できなくなりました。もう一度𩸽.txtをデバイスにコピーして、エクスプローラの表示を更新せずに𩸽.txtを削除すると、削除できなかった??.txtが削除されました(𩸽.txtも削除された)。

Windows(のNFSクライアント)では、ファイルインタフェース利用時に日本語のファイル名を使用できないのは注意点です。

【補足2】ETagのMD5ダイジェスト

ファイルインタフェースでファイルコピーしたファイルは属性値が付与されます。ETagにはMD5ダイジェストが付与されますが、一定サイズを超えるファイルのETagの形式は、マルチパートアップロード時と同様にMD5ダイジェスト-チャンク数となります。

マルチパートアップロードが適用される閾値を二分木探索で探ってみたところ、6,291,433バイトでした。

        {
            "Key": "6291432B.bin",
            "LastModified": "2020-11-13T11:16:01.536Z",
            "ETag": "\"d5decd733aebd2c6d10e894b7820b30c\"",
            "Size": 6291432
        },
        {
            "Key": "6291433B.bin",
            "LastModified": "2020-11-13T11:16:01.645Z",
            "ETag": "\"776a1df683a4436d6271a74b42ea57d9-2\"",
            "Size": 6291433
        },

では、チャンクサイズはいくつか?ということで、ファイルサイズを変えて実験してみました。

ファイルサイズ チャンク数 チャンクサイズ
1GB 171 約6MB
1.5GB 210 約7.3MB
2GB 220 約9.3MB
5GB 277 約18.5MB
10GB 371 約27.6MB

…どうやらチャンクサイズは固定ではないようです。

しかも、S3へインポート後のETagの値を確認すると、デバイス内にある時の値とは異なっているケースがありました。ファイルコンテンツは全く同じなのに。

  • デバイスでのETag … d5decd733aebd2c6d10e894b7820b30
  • S3のバケットへインポート後のETag … 828852475ee270da8a8a31e0f9809fc8-1

デバイスからS3のバケットへのインポートではStrageGatewayが使われているようですが(根拠はバケット内のファイルのメタデータ)、StrageGatewayのマルチパートアップロードの閾値は、SnowballEdgeのファイルインタフェースでのマルチパートアップロードの閾値が違うなど、あるのかもしれません。

いずれにせよ、ファイルインタフェースで転送されたファイルのETagはあてにしてはいけないようです。

【補足3】ストレージの空き容量

開発者ガイドにもあるように、SnowballEdgeのストレージ容量超えないように注意する必要がありますが、ストレージの空きサイズをエクスプローラで確認しても、いつまでも0バイトのままです。デバイスのLCDパネルで確認するしかありません。
image.png

デバイスの返送

西濃運輸さんのWebサイトの集荷依頼のページから配送を依頼します。
https://track.seino.co.jp/CallCenterPlusOpen/PickupOpen.do

注意点ですが、配送時と同様、配送業者さん(西濃シェンカー)の担当営業所が土日祝日の集荷に対応してない場合があります。ネット上では「日時指定の場合は土日祝日も対応してくれる」との情報がありましたが、私の担当営業所は日時指定の場合でも土日祝日は集荷業務をされていないようでした。ご注意下さい。

S3へのインポート完了後

インポート完了後、Snowballジョブダッシュボードから、以下のファイルがダウンロードできるようになります。

  • ジョブレポート
  • 成功ログ、失敗ログ

1. ジョブレポート(PDF形式)

ジョブレポートには、インポートに成功した(または失敗した)ファイル数と合計サイズ、ジョブのタイムラインが記載されます。

image.png

日時はUTCで表記されています(「EST」(米国東部標準時)と表記されてますが、おそらく誤りです。EST+14時間=JSTなので、UTCでないと辻褄が合いません)。

2. 成功ログ、失敗ログ(CSV形式)

成功ログ・失敗ログは、バケットへのインポートに成功したファイル、失敗したファイルが記録されたテキストファイルです(情報は、バケット名・オブジェクトキー名・バイトサイズ)。

  • ファイルのエンコーディング方式はUTF-8(BOMなし)、改行コードはLFです。
  • エントリが0件の場合、ヘッダ行もフッタ行も存在しない、0バイトの空ファイルとなります。
成功ログ・失敗ログ(サンプル)
"S3 Transfer Results Begin"
"Bucket Name","S3 Key","Size"
"yz2cm-tokyo-snowball","foo.txt","4"
"yz2cm-tokyo-snowball","bar/あああ.txt","9"
"yz2cm-tokyo-snowball","fizz.txt","6"
"yz2cm-tokyo-snowball","bazz.txt","0"
"S3 Transfer Results End"

3. メタデータ

ファイルインタフェースでデバイスにファイル転送したファイルについて、S3へインポート後のキーオブジェクトには以下のメタデータが付与されます。
image.png

比較対象として、AWS CLIでデバイスにファイル転送したファイルについて、S3へインポートした後のメタデータを以下に示します。
image.png

利用料金(実績)

今回のSnowball利用のコストは、合計420ドル(送料込み)でした。

以下は、2020年11月時点の状況です。

  • 東京リージョンでは、到着日と発送日を除く10日間のデバイス保有で300ドル(送料別)です。10日間を超えると、1日30ドルの追加料金が発生します。
  • 上記に加えて、往復の配送料120ドルが請求されます(地域によって異なるかもしれません)。
    image.png

おわりに

これでおわりです。世界中のSnowballユーザーに幸あれ。

8
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
8
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?