概要
ログとは何か、システムでのログの収集と管理の方法やその設定について、代表的なsyslogについてまとめました。またWebサーバーの主なものの一つであるApacheでのログの取り扱いについての基本をまとめました。
この記事でのサンプルの実行環境
OS Amazon Linux2
ログの基本
ログとは
プログラムが実行された時に、あらかじめ設定された出力先へプログラムの情報を出力したもの。
syslogはログの基本
Unix系OSではログといえばsyslogと言われています。
Mail(SMTP:Simple Mail Transfer Protocol)サーバの代表的なアプリケーションであるsendmailのログアプリケーションとして開発されたのが始まりで、これが便利とわかってFTPなど他のサーバでも使われるようになって広がりました。
syslogの基本機能① ログの書き込み
１つ目の機能がログの書き込みです。
例えば上図のように、MailサーバーやFTPサーバーからのログ情報をsyslogがどのサーバからのログか確認し、各サーバ用のログファイルへ書き込みます
syslogの基本機能② ログの収集
二つ目の機能はログの収集機能管理機能で、複数のサーバのログ情報を一台のログ専用サーバーで集中的に収集し管理する機能です。
例えば上図のように、MailサーバとFTPサーバのそれぞれのログ情報をsyslogの二つ目の機能でログサーバへ転送し、その後ログサーバ内のsyslogでそのログ情報をサーバー毎に判別して各サーバ用のログファイルに出力します(1つ目の機能)
現在のsyslog
現在はsyslogの改定版アプリケーションとして二つのアプリケーションがあります
1. syslog-ng
syslogプロトコルのサポートに加え以下のような機能が実装されています
- ログの分類機能
- TCPによるログの送受信(ログ情報紛失の回避)
- SSL/TLSを使用したセキュアログ
- データベースへのログ出力
2. rsyslog
rsyslog: rocket-fast system for logの略。syslogプロトコルのサポートはもちろん、以下の機能が実装されています
- ログの分類機能
- TCPによるログの送受信
- SSL/TLSを使用したセキュアログ
- データベースへのログ出力
CentOS6やDebianでrsyslogが採用されています
syslogへコマンドを使って出力してみる
psコマンドでsyslogのプロセスを確認
ps ax | grep syslog
602 pts/0 S+ 0:00 grep --color=auto syslog
3199 ? Ssl 0:00 /usr/sbin/rsyslogd -n
loggerコマンドにより、syslogにログ情報を渡します。
-pオプションでそのログのファシリティとプライオリティを指定します。
logger -p authpriv.info secure-log
tailコマンドでログを確認
sudo tail -f /var/log/secure
Nov 4 08:01:41 ip-172-31-44-123 ec2-user: secure-log
Nov 4 08:01:44 ip-172-31-44-123 ec2-user: secure-log
Nov 4 08:01:50 ip-172-31-44-123 ec2-user: secure-log
syslogの設定については /etc/rsyslog.confファイルで確認できます
syslogのfacilityやpriolityなどに関して、syslogはプロトコルとしてRFCに定義されています。詳細はこちらを参考にしてください。
https://tools.ietf.org/html/rfc5424
Webサーバのログを確認(Apache)
httpd(Apache)のインストールと起動設定
sudo yum install httpd
sudo systemctl start httpd
httpdの起動を確認
systemctl status httpd.service
実行結果でターミナルに Active: active(running)と表示されれば起動しています
Apacheの設定ファイルを確認
Apacheの基本設定は /etc/httpd/conf/httpd.confで行います。
このうちログに関する設定は447行目付近から行なっています。
#
# ErrorLog: The location of the error log file.
# If you do not specify an ErrorLog directive within a <VirtualHost>
# container, error messages relating to that virtual host will be
# logged here. If you *do* define an error logfile for a <VirtualHost>
# container, that host's errors will be logged there and not here.
#
ErrorLog "logs/error_log"
#
# LogLevel: Control the number of messages logged to the error_log.
# Possible values include: debug, info, notice, warn, error, crit,
# alert, emerg.
#
LogLevel warn
<IfModule log_config_module>
#
# The following directives define some format nicknames for use with
# a CustomLog directive (see below).
#
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common
<IfModule logio_module>
# You need to enable mod_logio.c to use %I and %O
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio
</IfModule>
#
# The location and format of the access logfile (Common Logfile Format).
# If you do not define any access logfiles within a <VirtualHost>
# container, they will be logged here. Contrariwise, if you *do*
# define per-<VirtualHost> access logfiles, transactions will be
# logged therein and *not* in this file.
#
#CustomLog "logs/access_log" common
#
# If you prefer a logfile with access, agent, and referer information
# (Combined Logfile Format) you can use the following directive.
#
CustomLog "logs/access_log" combined
エラーログの設定
ディレクティブ：ErrorLogを使います。
ErrorLog "logs/error_log"
実際のログファイルのパスはServerRootの設定＋ここの設定パスになります。
つまり /etc/httpd/logs/error_logとなります。
また、関連したディレクトティブにLogLevelがあります。
LogLevel warn
ここで、エラーログを出力するログレベルを指定します。この場合の設定だとログレベルが warn以上だとエラーログへ出力されるようになっています。
アクセスログの設定
ディレクトティブ：CustomLogを使用します。
CustomLog "logs/access_log" combined
実際のログファイルのパスは先ほどのErrorLogと同様にServerRootの設定＋ここの設定パスになります。つまり、/etc/httpd/logs/access_logになります。
フォーマットは combinedを使用します。
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" combined
参考：https://httpd.apache.org/docs/2.4/ja/logs.html
Webサイトへアクセスしてログを出力
サーバーのIPアドレスまたはドメイン名をブラウザの検索バーに入力してアクセスする上のようなApacheのTest Pageを表示できます。
tailコマンドを使ってログを確認
エラーログを確認
上のように、Cannot serve directory /var/www/html/: No matching DirectoryIndex (index.html) found, and server-generated directory index forbidden by Options directiveとあります。
DirectoryIndex()にマッチするものがなく、Options directiveによって/var/www/html/の提供ができませというようなことがわかります。
エラーを修正
まずデフォルトサイトの設定(/etc/httpd/conf.d/welcome.conf)を確認します。
# This configuration file enables the default "Welcome" page if there
# is no default index page present for the root URL. To disable the
# Welcome page, comment out all the lines below.
#
# NOTE: if this file is removed, it will be restored on upgrades.
#
<LocationMatch "^/+$">
Options -Indexes
ErrorDocument 403 /.noindex.html
</LocationMatch>
Optionsディレクトティブで -Indexesと指定されています。この設定はURLにファイル名が省略されてアクセスされた場合に「もし表示するものがなかったとしてもディレクトリ一覧を表示しない」という意味です。エラーログのNo matching DirectoryIndex (index.html) found, and server-generated directory index forbidden by Options directiveという内容と一致します。
さらに、上のErrorDocumentディレクトティブで「４０３が発生したら /.noindex.htmlを出力する」と設定されています。このnoindex.htmlが先ほどのTest Pageになります。
IPアドレスだけでアクセスした時、Apacheではあらかじめ設定された省略時のデフォルトファイルを探します。そのデフォルトファイルはDirectoryIndexで設定されます。上のデフォルトサイトの設定にはそのDirectoryIndexディレクティブの設定がなかったので基本設定ファイル(/etc/httpd/conf/httpd.conf)の設定を引き継ぎます。
$ cat /etc/httpd/conf/httpd.conf | grep DirectoryIndex
# DirectoryIndex: sets the file that Apache will serve if a directory
DirectoryIndex index.html
上の結果のように、Apacheではファイル名を指定せずにアクセスした場合は index.htmlを探しにいくように設定されています。
どこのディレクトリのindex.htmlをみにいくのかというと、このケースのサーバーIPを指定した場合はデフォルトサイトのドキュメントルートディレクトリはどこかというのと同義で、上のデフォルトサイトの設定にはなかったのでこれも基本設定ファイルの設定内容を引き継ぐことになります。
$ cat /etc/httpd/conf/httpd.conf | grep DocumentRoot
# DocumentRoot: The directory out of which you will serve your
DocumentRoot "/var/www/html"
# access content that does not live under the DocumentRoot.
上の結果よりDocumentRootディレクティブには/var/www/htmlと指定されているのでこれがドキュメントルートディレクトリということになります。
まとめると
/var/www/htmlに表示すべきファイル(index.html)が存在しなかったのでディレクトリ一覧を出力しようとしたが禁止されていたので
エラー403を出力した。403の飛び先が /.noindex.htmlと指定されていてそのファイルが返された
上の結果を受けて /var/www/html/配下にindex.htmlファイルを作成することでエラーを解決してみます。
echo 'Hello Apache!!!' > /var/www/html/index.html
再度ブラウザでアクセス
Hello Apache!!!の文字を確認できました。
アクセスログも確認すると
ステータスコード200が返ってくるようになりました。
エラーログについて、
アクセスログと同じ時刻にエラーが表示されてないことを確認できました。
まとめ
代表的なログ管理用のアプリケーションであるsyslogと、代表的なWebサーバの一つであるApacheでのログの扱いについてみていきました。
システムに障害が起きた際に原因を追求できるようにしたり分析できるように今回の基礎的な知識を応用していきたいと思います。