More than 3 years have passed since last update.

【業務向け】シェルスクリプトでファイルを削除する

Last updated at 2021-02-07Posted at 2021-02-07

業務上データやログをファイルに出力することって日常茶飯事だと思います。
サーバの容量を確保するためにも、作成から一定期間以上経過して不要になったファイルは定期的に削除していきたいですよね。
今回はシェルスクリプトを使って、業務レベルで使えるファイル削除プログラムを考えてみました。

環境

Amazon Linux2

前提条件

各ファイルは、それぞれ以下のディレクトリに格納されてるものとします。

削除対象ファイル：/home/test配下のファイル（サブディレクトリ含む）
プログラムファイル：/home/ec2-user/delete_files.sh
ログファイル：/home/ec2-user/log/delete_files_[年月日].log

手順

1. mailxのインストール

処理が失敗した場合にエラーメールを送信するため、mailxをインストールしておきましょう。

> yum install -y mailx

今回、Gmailを使いましたが、別途ライブラリのインストールや設定が必要でした。
CentOS7でmailコマンドでgmailにメール送信できるようにする | Qiita
に詳しい手順が載っていますので、そちらをご参考に。
セキュリティ的な観点から、普段使いのメールアドレスではなく、専用のメールアドレスを作成したほうがよいでしょう。

他のメールサービスを使用する場合は、必要な設定等ないか調べてみてください。

2. シェルスクリプトの作成

(1) プログラムファイルの作成

作成したシェルスクリプトは以下の通り。
今回は、bashを使用しました。
ざっくり説明すると、最終更新から、100日を超過したファイルを削除し、ファイル名と件数をログファイルに出力、失敗した場合は、エラーメールを送信する、という内容になっています。

詳細は以下プログラムのコメントをご覧ください。
（パイプ「|」で区切りの箇所は、①, ②, ③・・と記述を分けてます。）

# !/bin/bash

function delete(){
		
		# 削除対象ディレクトリ（今回は/home/test）
        DIR="/home/test";
        # 対象ディレクトリに移動
        cd $DIR;
        # メッセージ出力
        echo "最終更新日から100日を超過したファイルを削除します"
		
		# ① 最終更新から100日を超過したファイルを再帰的に検索
		# ② ①の検索結果を強制的に削除し、詳細を出力
		# ③ 結果を/home/ec2-user/log配下のdelete_files_[年月日].logファイルに出力（ファイルが存在しない場合は新規作成される）
		# ④ 削除件数を取得
        COUNT=$(find . -type f -mtime +100 | xargs rm -frv | tee -a /home/ec2-user/log/delete_files_`date +%Y%m%d`.log | wc -l)
        # 削除件数を出力
        echo "${COUNT} ファイル削除しました"

}

function fail(){
		# 処理を実行したサーバのホスト名を取得
        HOSTNAME=$(hostname)
        # ① メール本文を作成
        # ② 件名「削除処理失敗@[処理を実行したサーバのホスト名]」、宛先（To）hoge@gmail.comにメール送信
        echo "処理に失敗しました" | mail -s "削除処理失敗@${HOSTNAME}" hoge@gmail.com
}

# deleteに失敗した場合は、failを実行
echo "======= 処理開始=======" && (delete || fail) && echo "======= 処理終了======="

※厳密には、101日以前になりますが、単に不要なファイルを削除するだけなので、細かいところは気にしないこととします。

(2) 実行権限の付与

後述のcron登録で、うまく動作させられるようプログラムファイルに実行権限を付与しておきましょう。

> chmod +x /home/ec2-user/delete_files.sh

3. cron登録

cron登録して、一定期間毎に処理を実行できるようにしましょう。
今回は、毎月15日の15:30に処理を実行することとします。

(1) bashコマンドの検索

まず、whichコマンドを使って、bashコマンドのありかを探しましょう。

> which bash
/usr/bin/bash

自分の場合は上述の通り、/usr/bin/bashでした。

(2) クーロン登録

crontabに以下の記述を追加しましょう。

# 最終更新から100日を超過したファイルの削除
30 15 15 * * /usr/bin/bash /home/ec2-user/delete_files.sh >> /home/ec2-user/log/delete_files_`date +\%Y\%m\%d`.log 2>&1

「/usr/bin/bash」の部分は、(1)のwhichコマンドでヒットした内容に変更してください。

ポイントは、ログ出力ファイルを
/home/ec2-user/log/delete_files_date +\%Y\%m\%d.log
と、シェルスクリプトで削除ファイルを出力するファイルと同じにしていること。
こうすることで、echoで標準出力する内容も同じファイルにまとめて出力することができます。

※crontabで % 使う場合は必ず % とエスケープが必要になりますので、その点はご注意を！

crontab -eで直接書き込んでもよいのですが、既存の記述を変更してしまう可能性もあって危険なので、個人的には、一度ファイルに記述してから登録するようにしています。
crontabを安全に編集する手順 | Qiita
が、とても参考になってよいです。

(3) 動作確認

cron設定日時に、以下のコマンドを実行し、設定した処理が実行されることを確認します。

> tail -f -20 /var/log/cron

※手動実行だとうまくいくのに、クーロンだとうまくいかない場合もあると思います。

そんな時は、
cronがどうやっても動かない時に考えられる原因とその対処法 | Qiita
辺りをご参考に！

4. 実行結果

成功/失敗の場合に、それぞれどのような結果になったか見ておきましょう。

(1) 正常終了の場合

今回は、以下のコマンドでタイムスタンプが101日以前のファイルを作成しました。

> touch -t yyyyMMddHHmm /home/ec2-user/test/test_{1..125}.log
> touch -t yyyyMMddHHmm /home/ec2-user/test/test2/test_{126..205}.log

「yyyyMMddHHmm」の部分は適宜変更してください。

① ログファイル
/home/ec2-user/log/delete_files_[年月日].log
の中身は以下の通り。

======= 処理開始=======
最終更新日から100日を超過したファイルを削除します
removed ‘./test_117.log’
removed ‘./test_119.log’
(省略）
removed ‘./test_125.log’
removed ‘./test2/test_126.log’
(省略）
removed ‘./test2/test_204.log’
removed ‘./test2/test_205.log’
205 ファイル削除しました
======= 処理終了=======

シェルスクリプトでechoしている（標準出力している）内容と、rm -frvしている内容が同じファイルに書き込めていますね。

② メール
送信されてきませんでした。
正常終了の場合はメールはとばさない仕様なので、OKです。
余談ですが、自分のプロジェクトでは、致命的な内容のメールを見逃さないようにするため、正常終了の場合は基本メール送信しないようにしています。

(2) 異常終了の場合

今回は、プログラムファイルのdeleteファンクション内の一番上に、

echo $1 1>&2
return 1

の記述を入れることで意図的に発生させてみました。

① ログファイル
/home/ec2-user/log/delete_files_[年月日].log
の中身は以下の通り。

======= 処理開始=======
更新日が100日より前のファイルを削除します

処理に失敗しました
======= 処理終了=======

failファンクションの内容「処理に失敗しました」が表示されています。

② メール
以下のような内容のメールが来ました。

ぼかしを入れていますが、件名の@のうしろには、実行サーバのホスト名が入っています。
件名だけで一目瞭然なので、実行環境によってメールの送信元を変えるよりも楽でよいです。

終わりに

シェルスクリプトはあまり使ったことがなかったのですが、Linuxに標準装備されているので、事前準備が少なくてすむのが大きなメリットですね。
複雑な処理には不向きそうですが、シンプルな処理の実装にガンガン使っていきたいと思います。