Help us understand the problem. What is going on with this article?

EC2のEBS縮小化作業記録

目的

AWSのEC2のDeeplearningAMIを使ってちょっとした解析をしたりすることがあります。
SageMakerでは起動が遅い事があるのです。
しかし、大きなストレージを作ってしまって、整理したいことでてきました。
この記事はその作業メモです。

使用しているサイズを知る

df -h

で確認します。
hは人間が見ても見やすいバイト表記にしてくれます。

マルチスレッドでgzipの準備

pigzを使って、大きなデータディレクトリを圧縮します。

sudo apt install pigz

移行するディレクトリを圧縮する

tar cv --use-compress-program pigz -f data.tar.gz data/

tar そのままでもいいのですが、10GB以上はちょっと遅いですよね。

tar -czf hoge.tar ./hoge/

aws configure

awsの認証設定を行い、S3へアップロードする準備をします。

aws configure

ID/PASSを入れて、
ap-northeast-1
json
を初期設定としました。

S3にアップロード

aws s3 cp ./hoge.tar.gz s3://fuga/faga1

S3からダウンロード

aws s3 cp  s3://fuga/fuga1/hoge.tar.gz ./hoge.tar.gz

ファイルの展開

tar -zxvf mc.tar.gz

これで解凍できるはず。。。

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away