目次
はじめに
1.ログが出力される仕組み
2.ログがローテーションする流れ
3.ログローテーションの設定
おわりに
はじめに
本記事は今年入社したてほやほやの新卒が書いている記事です。文系出身でIT業界にやってきた人間がどのような思考回路でどこに躓くのか…そんなことが知りたい人にはちょっとだけ役立つ記事かもしれません。
記事の内容としては、ログローテーションの仕組みについてが中心になります。
- ログが出力される仕組み
- ログがローテーションする流れ
- ログローテーションの設定(/etc/logrotate.d/)
主にこの3点を初心者の目線でまとめていきます。また、本記事でのログローテーションはLinuxサーバにおける話になります。
文章が拙い点もあるかと思いますが、何卒ご容赦くださいませ。
1.ログが出力される仕組み
まずそもそもログはどこからやってきてどう出力されているのかを、ざっくり掴んでいきましょう。
Linuxサーバーにはサーバ内のプログラムを立ち上げ、全システムを管理する大ボスみたいな存在がいます。それが Systemdです。細かいことは私もよくわかっていないので説明できませんが、とにかく大ボスです。Systemdが起動しない限り、サーバ内のシステムは動きません。
Systemdの中にSystemd-journaldというものがあります。全てのログは最初、ここにやってきます。しかし…Systemd-journaldが受け取ったログは、電源が切れたら全て消えてしまいます。揮発性、というやつですね。これでは残しておきたいログも残りません。
そこで、rsyslogというアプリケーションが活躍します。サーバが起動している間は常時動くデーモン(Daemon) の一つですね。rsyslogはSystemd-journaldが持つログをまるまる受け取って、ファイルに書き出すという働きをします。ログファイルは基本 /var/log/ 配下に置かれます。ログがファイルに書き出されたことで、電源が切れてもログは消えません。素晴らしい…!
rsyslogがログを書き出す設定は /etc/rsyslog.confに書いてあります。一部覗いて見ましょうか。
#### RULES ####
# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.* /dev/console
# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages
# The authpriv file has restricted access.
authpriv.* /var/log/secure
# Log all the mail messages in one place.
mail.* -/var/log/maillog
一部を抜き出したのにたくさん文字が書いてありますね…。もう少し見る対象を絞りましょう。真ん中辺りにこんな文字がありますね。
*.info;mail.none;authpriv.none;cron.none /var/log/messages
ざっくり表現すると ログレベルがinfo以上のログを/var/log/messagesに書いてくださいという指示になります。この指示を受け、rsyslogが特定のログを指定されたパスに書き込んでくれます。これで、ログ出力の仕組みについての大枠は理解できたことにします。
2.ログがローテーションする流れ
rsyslogが書き出してくれるログですが、サーバで発生するログは放っておくと溜まる一方です。容量を圧迫するし、見たいログを探すのが大変になります。そんな事態を避けるため、ログローテーションをします。
ログローテーション(ログローテートとも呼ぶらしいです)の仕組みは一般に、 元のログファイルを別の名前で保存して、新しいログファイルに切り替えることを指します。1
私はこの説明を読んで 「元のログファイル」 って…?「別の名前に保存」?「新しいログファイル」?と混乱しました。そこで、それぞれ細かく説明しながらまとめていきます。
messagesログを例にしてみましょう。
※以下では仕組みを分かりやすくするため、1日ごとにローテーションされるケースを例にしています。
ls -l /var/log/ | grep messages
-rw-rw-r-- 1 root messages 6528 8月 20 11:22 messages
こんな感じでログを書き込んでいるファイルがありますね。ここに表示されている日時は、そのファイルが最後に更新された時刻となります。
つまり「messages」は、8月20日11:22時点で最後に更新されたファイルだということが分かります。これが 「元のファイル」 になります。
このままログローテーションをしなかったらどうなるでしょうか。8月21日分、8月22日分…と「messages」ファイルにログが溜まって、膨大な容量のファイルになってしまいますね。それに特定の日時のログを見つけるのが大変になります。
なのでログローテーションさせます。8月21日になって 「元のファイル」の「messages」ファイルは別の名前「messages-0820」として保管されます。
ls -l /var/log/ | grep messages
-rw-rw-r-- 1 root messages 6528 8月 20 11:22 messages-0820
これで8月20日分のログが収まっているファイル「messages-0820」ができましたね。しかし、このままでは8月21日のログを書き込む場所がありません…。そこで、「messages」という「新しいログファイル」を作成します 。
ls -l /var/log/ | grep messagesp
-rw-rw-r-- 1 root messages 0 8月 21 00:00 messages
-rw-rw-r-- 1 root messages 6528 8月 20 11:22 messages-0820
新しく作成された「messages」ファイルに8月21日のログが書き込まれていきます。これがログローテーションの流れです!
そして8月22日になると、いま作成された「messages」は「messages-0821」という名前で保管され、新たに「messages」ファイルが作成されます。
ls -l /var/log/ | grep messages
-rw-rw-r-- 1 root messages 0 8月 22 00:00 messages
-rw-rw-r-- 1 root messages 6528 8月 21 09:50 messages-0821
-rw-rw-r-- 1 root messages 6528 8月 20 11:22 messages-0820
このようにローテーションすることで、日ごとにログファイルを分けることができ、見たいログを探すのが楽になります。
3.ログローテーションの設定
ですがまだ問題があります。日時でファイルを分ける事ができても、ログが溜まっていくことには変わりありません。1年後には365個のファイルが…。容量が圧迫されます。重要なログこそ長期間保管しますが、そうじゃないならさっさと捨てたいですよね。
そこで、ログローテーションの設定でログの保有期間を指定します。例えば、7日間分だけ残しておきたい、と設定すれば保有期間が7日を超えたログは自動的に削除されます。Linuxサーバにおけるログローテーションの設定方法を軽く見ていきましょう。
ログローテーションの設定ファイルは /etc/logrotate.d/ 配下にてログファイルごとに配置されています。messagesログの設定ファイルなら/etc/logrotate.d/messagesのファイルになります。ファイルの中身を見てみましょう。
sudo vi /etc/logrotate.d/messages
/var/log/messages {
missingok
daily
create 0664 root utmp
rotate 7
dateext
dateformat -%m%d
sharedscripts
postrotate
/usr/bin/systemctl reload rsyslog.service >/dev/null 2>&1 || true
endscript
}
こんな感じになってます。各項目を見てみましょう。
各項目の指示内容
- missingok は"ログファイルがなくても、エラーじゃないよ"という指示です
- daily は"1日ごとにローテーションしてください"という指示です。週ごとのローテーションならweekly、月ごとのローテーションならmonthlyと記入します
- create 0664 root utmp は先に説明したログのローテーションの流れで説明した"「新しいログファイル」を作ってね"という指示です。また、作成するファイルのパーミッションを0664、所有者をroot、グループをutmpに指定しています
- rotate はログを何世代分(何日分)保管するかの指示です。ここでは7とあるので、ローテーション後のログを7世代分保管するという指示です。今回のように1日ごとにローテーションする設定では、結果としておおむね7日分のログが残ることになります
- dateextは"ローテーションしたログファイルの名前に日付を付ける"という指示です。※以下では仕組みを分かりやすくするため、ローテーションしたログに「直前の日付」が付くケースを例にしています
- dateformat -%m%dはdateextで指示した日付の詳細を指示します。-%m%dは"月と日付を付けてね"という意味です
こんな感じでログローテーションの設定ができます。ここで紹介した以外にも沢山の設定ができます。が、私の実力では説明しきれないので…割愛です。
…おや、ひとつ説明にない項目がありますね…?安心してください、新卒の拙い理解と言葉ではありますがちゃんと説明いたします。
sharedscripts
postrotate
/usr/bin/systemctl reload rsyslog.service >/dev/null 2>&1 || true
endscript
この部分はログローテーション後に実行して欲しいコマンドを指示しています。postrotateとendscriptの間に書かれた /usr/bin/rsyslog/rsyslog-rotateをローテーション時に実行してください、という項目です。
なぜこれが必要なのか…それはrsyslogがログを書き出す仕組みに関係があります。
/var/log/配下にある「messages」というファイルにログを書いていたrsyslogですが、ログローテーション時にファイル名が「messages」から「messages-0820」に変更されたと認識するには再起動をかけなけなりません。この指示がなければ、別の名前で保管されたはずの「messages-0820」にログを書き続けてしまいます。そのため、ログローテーション時に再起動をかけ、新しく作った「messages」のファイルを認識させる必要があるんですね。ここはとても躓きました。以上が、ログローテーションの設定(/etc/logrotate.d/)になります。
他にもlogrotet.timerでログローテーション実行の時間の指定など色んな設定がありますが、ログローテーションの仕組みを内容の中心にしたいので、今回は割愛いたします。
おわりに
まとめの内容は以上になります。
- ログが出力される仕組み
- ログがローテーションする流れ
- ログローテーションの設定(/etc/logrotate.d/)
についての自分の理解を粗方吐き出しましたが、まだまだログは奥が深いですね…。ログローテーションの設定についてはまだ理解が浅いので、これから学んでいこうと思います。最後まで読んでくださり、ありがとうございました。