1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

【AWS】大量データ転送について

Last updated at Posted at 2022-07-31

データ転送の計算式(そもそも)

これはもう具体例でやった方がわかりやすい。
70TBの大量データを0.5GBのインターネット回線で転送するのにかかる時間を計算する。
それぞれのパラメータをビット数に変換してあげる。

(1)データ容量をビット単位に変換
615,726,511,554,560bit = 70TBtye ×1024×1024×1024×1024 × 8bit
(2)回線速度をビット単位に変換(=1秒間に転送できるbit数)
500,000,000bit = 0.5Gbps ×1000×1000×1000
(3)転送に掛かる秒数を計算
1231453.02秒 = 615,726,511,554,560bit ÷ 500,000,000bit × 伝送効率
(4)転送速度の変換(bps⇔B/s)
62.50MB/s = 0.5Gbps ÷ 8bit × 伝送効率

1byteは1bitだよ。
https://www.networld.co.jp/sp/learn_first/storage/p22_24.html

伝送効率が100%ならば342時間かかる......!!!!

image.png

神サイトがこちら。

Storage Gateway

AWSで提供されている、オンプレミスにあるデータをクラウドへ連携するための受け口を提供するサービス。
Storage Gatewayを使って連携されたデータの保存先には、耐久性が高く低コストなストレージ(S3,S3 Glacierなど)が利用される。※下図参照

何か独自のストレージが誕生したわけではなく、ただ単に既存のオンプレとAWS間のデータ連携を容易にするためのインタフェースを提供しているだけ。

image.png
画像引用:AWS Storage Gateway

使い分け方の一例として、
高頻度にアクセスされるデータはオンプレ環境の高速ストレージに保管
あんまりアクセスされないデータはStorage Gatewayを利用してクラウド上に保管する。といったやり方がある。

AWS Snowball Edge

とんでもなく大容量(ペタバイト級)のデータをAWSへ移行/持ち出しをする際に使うサービス。
ちなみにペタバイトとは。。。。。。。
 ・ビット(Bit)
 ・バイト(Byte)
 ・キロバイト(KB)
 ・メガバイト(MB)
 ・ギガバイト(GB)
 ・テラバイト(TB)
 ・ペタバイト(PB)
なのでめちゃくちゃ大きい。

ちなみにサービスを申し込むと下のような筺が配送業者によって送られてくる。引き渡しから1週間程度でS3にデータが移行されるとのこと。

image.png
画像引用:AWS Snowball Edge デバイスの使用

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?