目的
AWSのEC2のDeeplearningAMIを使ってちょっとした解析をしたりすることがあります。
SageMakerでは起動が遅い事があるのです。
しかし、大きなストレージを作ってしまって、整理したいことでてきました。
この記事はその作業メモです。
使用しているサイズを知る
df -h
で確認します。
hは人間が見ても見やすいバイト表記にしてくれます。
マルチスレッドでgzipの準備
pigzを使って、大きなデータディレクトリを圧縮します。
sudo apt install pigz
移行するディレクトリを圧縮する
tar cv --use-compress-program pigz -f data.tar.gz data/
tar そのままでもいいのですが、10GB以上はちょっと遅いですよね。
tar -czf hoge.tar ./hoge/
aws configure
awsの認証設定を行い、S3へアップロードする準備をします。
aws configure
ID/PASSを入れて、
ap-northeast-1
json
を初期設定としました。
S3にアップロード
aws s3 cp ./hoge.tar.gz s3://fuga/faga1
S3からダウンロード
aws s3 cp s3://fuga/fuga1/hoge.tar.gz ./hoge.tar.gz
ファイルの展開
tar -zxvf mc.tar.gz
これで解凍できるはず。。。