S3ストレージクラスを実現する技術

S3はAWSのサービスの中でも歴史が古く、広く認知されています。S3には、いくつかのストレージクラスが存在し、目的に合ったストレージクラスを使い分けることで、パフォーマンスを向上させたりコストを最適化させたりすることができます。そんなS3のストレージクラスですが、細かい原理まで考えたことのある人は多くは無いのではないでしょうか？今日は、S3 StandardとS3 Glacier Deep Archive取り出し速度とコストの関係について深堀していこうと思います。なお、AWSが公開していない情報については、推測を含みます。

1. S3のストレージクラスについて
   現在、S3にはS3 Standard, S3 Express One Zone, S3 Standard-IA, S3 One Zone-IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archiveがあります[1]。また、S3 Intelligent-Tieringという、アクセスパターンが不明なデータを最適なものに自動で移行してくれるというストレージクラスもあります。One Zoneは1つのAZ（アベイラビリティゾーン）だけにデータを保存する（他のストレージクラスは3つのAZ）ため、データの可用性が落ちますが、コストを抑えられます。One Zone以外のストレージクラスでは、データ保存コストが高価になる代わりにデータ取り出しを高速で行えるか、データ取り出しに時間がかかる代わりにデータ保存コストを抑えられるか、という観点で複数のストレージクラスが用意されています。
   
   今回は、S3 StandardとS3 Glacierを比較し、どのような仕組みの違いが取り出し速度やコストの違いを生み出しているのかを考えてみたいと思います。

2. 記憶階層
   S3に限らず、記憶装置は高価だがデータを高速で読み書きできるものと、安価だがデータの読み書きに時間がかかるものがあります。コンピュータでは補助記憶装置に保存されているプログラムやデータを主記憶に読み込ませ、主記憶からCPUに読み込ませることで、高価な記憶装置は少量しか使わずに高速な演算を実現しています[2]。
   
   さて、このような用途を考えると、S3は補助記憶装置に相当することが分かります。一般的な主記憶装置は、数GBから数十GB程度の容量しかなく、補助記憶装置は数百GBから数TBの容量があります[5]。S3で必要になる容量はTB単位になることも珍しくないので、容量から考えても確かにS3は補助記憶装置に該当していますね。しかし、補助記憶装置にも多くの種類があります。どのような装置を使っているのか、次の章で説明したいと思います。

3. 補助記憶装置
   補助記憶装置にも多くの種類があります。データの読み書きの方法に着目すると、磁気ディスク、光ディスク、フラッシュメモリの3種類があります[5]。磁気ディスクでは、磁気のNとSを利用してデータを保存します[9]。光ディスクはCDやDVDのことで、レーザー光を使ってデータの読み書きを行います。フラッシュメモリは半導体メモリの一種で、電気の力でデータを読み書きします。
   実際にAWSがこれらのうち、どの補助記憶装置を用いているのかは分かりません。光かもしれませんし、磁気かもしれません。また、複数の装置を組み合わせている可能性もあります。多くの人が推測していますが、AWSは回答を出していません[10,11]。ただ、市販の製品から読み取り速度と容量（一定値段当たり）を調べ、比較したところ、読み取り速度を重視するS3 StandardではSSD、コストを重視するS3 Glacierでは磁気テープを用いているのではないかと推測できます[12]。
   

4. SSDと磁気テープの違い
   3章では、読み取り速度を重視するS3 StandardではSSD、コストを重視するS3 Glacierでは磁気テープを用いていると推測しました。その推測に基づき、S3 StandardとS3 Glacierの違いを考えていきます。
   まずはデータ保管コストについてです。3章でもコストは比較しましたが、これは販売コストです。そのほか、SSDと磁気テープでは、データ保管コストも異なります。SSDは、電荷を蓄えておくことでデータを保存します。電源を切ってもデータをしばらく保存し続けることができますが、長期間電源に繋がないでいると、徐々に電荷が解放されていき、データが失われてしまいます[16]。そのため、適度に電源に接続して用いる必要があります。一方で、磁気テープはデータを保管するために電源に接続する必要がありません。そのため、データを長期保管する場合には消費電力はほぼ0です。しかし、磁気テープはデータを取り出すのに時間も電力も多くかかります[18]。そのため、データ保管コストの面でも、SSDはよく使うデータ、磁気テープはあまり使わないデータの保管に適しています。
   次に運用方法の違いについても述べます。SSDは、頻繁にアクセスされるデータを保存しておくので、どのデータも即時アクセスが可能な状態を保つ必要があります。しかし、磁気テープはデータの取り出しに時間がかかっても良いデータです。このようなデータの場合、大量にある磁気テープはテープライブラリとしてまとめて保管されます。データの取り出しが必要になった時は、ロボットがテープを取り出してディスクにセットすることで、データの読み取りが可能になります[19]。データを長期保管しても消費電力がほぼ0である磁気テープのメリットを生かし、データの取り出しに時間をかけてでもコストを抑える、という目的に合わせ、S3 Glacierでもこのようなテープライブラリを作成し、取り出し要求を受けてロボットがテープをセットしていると考えられます。
   
   最後に、データを扱う操作の違いについても述べます。S3 Standardでは、保存しているデータが常にアクセス可能な状態にあります。そのため、S3 StandardではGetリクエストを送るたけでデータを取得できます[20]。しかし、S3 Glacierでは、先ほど述べたようなテープライブラリを用いている可能性が高く、データは常にアクセス可能な状態ではありません。そのため、まず復元リクエストを行い、しばらく待ってデータが復元されてからデータを取得する必要があります[21]。このように、データの保管方法の違いは操作方法の違いにまで及んでいます。

5. まとめ
   S3にはデータの取り出し速度やコストの異なる、複数のストレージクラスがあります。これらは、それぞれのニーズに合わせた最適な記憶媒体を選択することで達成されています。S3 Standardのようにデータへの即時アクセスが可能なストレージクラスではSSDのような読み取り速度を重視する記憶媒体、S3 Glacierのように、読み取り速度を落としてコストも落とすストレージクラスでは、磁気テープのような長期保存に適した記憶媒体を使用していると考えられます。さらに、頻繁に取り出す場合はSSD、めったに取り出さない場合は磁気テープのほうが消費電力や電力コストも低くなります。また、そういった記憶媒体の違いに合わせ、ユーザに提供されているデータ操作の方法も異なっています。これらの、適切な記憶媒体の選定と、その記憶媒体に適した運用・操作によって、S3は様々なストレージクラスを展開し、様々なニーズに対応できているわけです。

参考
[1]AWS公式ページ ストレージ>Amazon S3>ストレージクラス
https://aws.amazon.com/jp/s3/storage-classes/
[2]大滝みや子, 絵で見ておぼえる基本情報技術者 新試験制度対応 増補改訂版第3版p.30
[3]大阪経済大学講義資料 コンピュータと情報システム 02章 ハードウェア
https://www.slideserve.com/shad-adams/02
[4]みちともデジタル ITパスポート学習サイト コンピュータ構成要素-令和元年
https://michitomo2019.com/it-passport-computer-component-qs-r01/
[5]日本ポリマー株式会社 半導体 メモリやストレージ、記憶装置の分類を整理！
https://nihon-polymer.co.jp/2021/10/25/2779
[6]パナソニックEWネットワークス > Solutions > コラム一覧 > 磁気テープとは？仕組みやメリットを分かりやすく解説
https://panasonic.co.jp/ew/pewnw/solution/column/camera/012.html
[7]FUJIFILM LTOテープとハードディスク(HDD)の違いを比較
https://asset.fujifilm.com/master/jp/files/2024-06/fe4ef93577785de5807d52a3b254c419/archiveNavi_reference_011.pdf
[8]High Scalability Behind AWS S3’s Massive Scale
https://highscalability.com/behind-aws-s3s-massive-scale/
[9] LexiWord ハードウェア&OS/ストレージ/磁気記憶装置とは？ハードディスクドライブと磁気テープで実現するデジタルデータ保存技術の解説
https://words.af-e.net/magnetic-storage-device/
[10]Wikipedia Amazon S3 Glacier
https://en.wikipedia.org/wiki/Amazon_S3_Glacier
[11] AWS S3 FAQ
https://aws.amazon.com/jp/s3/faqs/#amazon-s3-glacier-instant-retrieval-%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%AF%E3%83%A9%E3%82%B9
[12] 大阪経済大学講義資料 コンピュータと情報システム 02章 ハードウェア
https://www.slideserve.com/shad-adams/02
[13]アークサーブジャパンブログ HOME>バックアップ>実はGoogleも採用するテープバックアップとは？メリットや活用ケースまとめ
https://insights-jp.arcserve.com/tape-backup
[14] JEITA テープストレージ専門委員会
https://home.jeita.or.jp/upload_file/20180725112832_4IrRd6WeFi.pdf
[15] IBM TechXchange Japan Storage User Community
https://community.ibm.com/community/user/blogs/masatoshi-washizu/2023/12/24/111
[16]Aiffro SSDは、長期間電源を供給しないままにしておくとデータが失われますか?
https://www.aiffro.com/ja/blogs/knowledge-centre/will-ssd-lose-data-if-left-unpowered-for-an-extended-period
[17]SANDISK 内蔵、外付けssd、usbフラッシュドライブの消費電力について
https://support-jp.sandisk.com/app/answers/detailweb/a_id/53117/~/%E5%86%85%E8%94%B5%E3%80%81%E5%A4%96%E4%BB%98%E3%81%91ssd%E3%80%81usb%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5%E3%83%89%E3%83%A9%E3%82%A4%E3%83%96%E3%81%AE%E6%B6%88%E8%B2%BB%E9%9B%BB%E5%8A%9B%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6
[18]日本経済新聞 Googleも重宝　しぶとく生きる日本製磁気テープ
https://www.nikkei.com/article/DGXZQOUC273UV0X20C22A6000000/?msockid=0f781f82c9ee6a7d17c10933c8276b54
[19]NEC ホーム>製品>サーバ・ストレージ>iStorag>テーマから選ぶ>進化するテープバックアップによるデータ保護
https://jpn.nec.com/istorage/challenge/disaster/06.html
[20]AWSユーザガイド オブジェクトのダウンロード
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/download-objects.html
[21]AWSユーザガイド アーカイブされたオブジェクトの復元
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/restoring-objects.html