ログを活用する前に

長期的に結果を出す前に必要なこと

[収集]どのデータを集めるべきか、どのようにデータを格納するか
[変換]データをどのように前処理し、分析しやすい形式にするか
[保存]どういったデータが入っていて、どこに保存するか
[分析]どのように基盤に入れたデータを分析し、活用してもらうか。データを入れるだけでなく、分析のために快適な環境を用意するにはどのようにすれば良いか
[表示]どのようにデータを可視化し、結果を伝えられるか
[運用]データを分析するための基盤を長期に渡って運用していくにはどのようにすれば良いか

ログとは何か

「ある時点での事実を残すもの」

例

ユーザが商品を購入した際のログどの商品をいつ何円で買ったか
室温のログ部屋に取りつけられた温度センサーにより記録、ある時点での室温と温度のデータ
音響測定データ計測用のマクロフォンを利用して収集したある時点での音圧レベルのデータ

ログデータ入門

データの鮮度

ログデータを扱う際、データの鮮度によって2つの分け方をする

hot data 　発生した直後のログデータ。発生してすぐに利用される。または、高頻度でアクセスされるログデータ
cold data 　作成されてから利用されるまでにある一定の時間がかかるログデータのこと

鮮度の違いで何が変わるか

分析をする上で、鮮度の違いは、活用の方法を左右する

hot dataとcold data

hot data

今この瞬間でトラフィックにどういう変化が起こっているか
特定のキャンペーンで、どの商品の注文が増えているか

cold data

蓄積された全体のデータを分析してマーケティングなどに活かす

ログを抜き出す際の注意

ログを抜き出す際には、後でどのような分析に必要になるか考えるのではなく、ひとまず「どのようなログがあるか」だけ整理し、すべてcold dataとして後から使えるように保存しておく

ログ解析のツールの組み合わせ（定番）

Fluentd - ログを収集する
Elasticsearch - 全文検索時エンジン+RestfullAPI
Kibana - ログ解析&可視化　webページ

使われている例

ソーシャルゲーム
アドテク
webサービス関連
クラウド基盤のバックエンド

今回は実際のサービスを対象にログ解析する前に自分のパソコンのログを見てみる

syslog入門

今回

自分のmacのログを見てみる

システムログとは

デーモンなどが出力するシステムの動作記録、ユーザが操作した内容が記録されている

用途

システムに不具合が生じた場合や、セキュリティ障害などが起きた時の解決に重要

Linuxシステムのログはどこにあるのか

主なログファイルは/var/log

@mymac~$ cd /var/log
@mymac/var/log$ ls
Accounts            authd.log.4.gz          daily.out           opendirectoryd.log.2        system.log          wifi.log.0.bz2
CDIS.custom         authd.log.5.gz          displaypolicyd.log      opendirectoryd.log.3        system.log.0.gz         wifi.log.1.bz2
CoreCapture         bluetooth.pklg          displaypolicyd.stdout.log   opendirectoryd.log.4        system.log.1.gz         wifi.log.10.bz2
DiagnosticMessages      com.apple.clouddocs.asl     emond               opendirectoryd.log.5        system.log.2.gz         wifi.log.2.bz2
SleepWakeStacks.bin     com.apple.revisiond     fax             opendirectoryd.log.6        system.log.3.gz         wifi.log.3.bz2
apache2             com.apple.xpc.launchd       fsck_hfs.log            opendirectoryd.log.7        system.log.4.gz         wifi.log.4.bz2
asl             commerce.log            install.log         opendirectoryd.log.8        system.log.5.gz         wifi.log.5.bz2
authd.log           corecaptured.log        module              opendirectoryd.log.9        system.log.6.gz         wifi.log.6.bz2
authd.log.0.gz          coreduetd.log           monthly.out         powermanagement         system.log.7.gz         wifi.log.7.bz2
authd.log.1.gz          coreduetd.log.0.gz      opendirectoryd.log      ppp             uucp                wifi.log.8.bz2
authd.log.2.gz          coreduetd.log.1.gz      opendirectoryd.log.0        sa              weekly.out          wifi.log.9.bz2
authd.log.3.gz          cups                opendirectoryd.log.1        secinitd.log.0.gz       wifi.log

Linux主なシステムログファイルの種類

/var/log/boot.log システム起動時のログ
/var/log/mail.log メールシステムのログ
/var/log/cron cronのログ
/var/log/secure 認証関連のログ
/var/log/dmesg システム起動時のdmesgの内容
/var/log/lastlog 最終ログイン情報の記録
/var/log/wtmp ログイン情報の記録
/var/log/anaconda.* インストーラのログ
/var/log/messages 上記に含まれないログ

ログを表示する

tailコマンドを使って自分のmacのインストールログを表示させてみる

@mymac/var/log$ sudo tail -f install.log
            "zzzz031-63213",
            "031-49592"
        );
    }
Jun 30 13:53:37 shoushiichiba-no-MacBook-Air softwareupdate_notify_agent[81250]: appstoreupdateagent notified
Jun 30 13:53:37 shoushiichiba-no-MacBook-Air softwareupdate_notify_agent[81250]: AssertionMgr: Cancel com.apple.softwareupdate.NotifyAgentAssertion assertion for pid 81250
Jun 30 13:53:37 shoushiichiba-no-MacBook-Air softwareupdated[535]: Removing client SUUpdateServiceClient pid=81250, uid=501, installAuth=NO rights=(), transactions=0 (/System/Library/CoreServices/Software Update.app/Contents/Resources/softwareupdate_notify_agent)
Jul  1 09:31:38 shoushiichiba-no-MacBook-Air installd[439]: ___CacheDeleteRegisterLegacyCallbacks_block_invoke475:449 com.apple.installd.CacheDelete has periodic property in CacheDelete.plist, but a NULL callback
Jul  1 09:31:39 shoushiichiba-no-MacBook-Air installd[439]: ___CacheDeleteRegisterLegacyCallbacks_block_invoke475:449 com.apple.installd.CacheDelete has periodic property in CacheDelete.plist, but a NULL callback
Jul  1 09:32:09 --- last message repeated 3 times ---

ログの出力について

Linuxのログは、主にsyslogという仕組みを使ってログを収集、出力を行う。

特徴

TCPによるログのネットワーク転送
TLS/SSLによる暗号化
MySQL、PostgreSQLへのログの保存
ログのフィルタリング
ロギング以外にも様々な通知方法(メール、SNMPTrap)

システムログを見てみる。syslogを表示する

@mymac~$ syslog

syslogのファシリティとプライオリティ

syslogはログの分類と重要度が定義されている。

ファシリティ(facility)ーログの分類
プライオリティ(priority)ーログの重要度

ファシリティ（分類) 説明

auth - 認証サービスのメッセージ
authpriv - 認証サービス
cron - cronのメッセージ
daemon - デーモンのメッセージ
kern - カーネルのメッセージ
lpr - プリンタサービスのメッセージ
mail - メールサービスのメッセージ
news - ニュースサービスのメッセージ
syslog - syslogのメッセージ
user - ユーザープロセスのメッセージ
uucp - uucp転送を行うプログラムのメッセージ
local0~7 - 任意に使用できるファシリティ

プライオリティ（重要度)

プライオリティ - 説明
debug - デバッグ情報
info - 情報
notice - 通知
warn - 警告
err - 一般的なエラー
crit - 致命的なエラー
alert - 緊急に対処すべきエラー
emerg - 緊急事態

ファシリティとプライオリティを意識してもう一度

@mymac~$ syslog

syslogを検索してみる

syslog -k Sender eq kernel

syslogの設定を見てみる

/etc/asl.conf には、次の規則で、何を、どこへ、書き込むかが定義されている。
{ファシリティ}.{レベル} {書き込み先}

@mymac~$ cat /etc/asl.conf
##
# configuration file for syslogd and aslmanager
##

# aslmanager logs
> /var/log/asl/Logs/aslmanager external style=lcl-b ttl=2

# authpriv messages are root/admin readable
? [= Facility authpriv] access 0 80

# remoteauth critical, alert, and emergency messages are root/admin readable
? [= Facility remoteauth] [<= Level critical] access 0 80

# broadcast emergency messages
? [= Level emergency] broadcast

# save kernel [PID 0] and launchd [PID 1] messages
? [<= PID 1] store

# ignore "internal" facility
? [= Facility internal] ignore

# save everything from emergency to notice
? [<= Level notice] store

# Rules for /var/log/system.log
> system.log mode=0640 format=bsd rotate=seq compress file_max=5M all_max=50M
? [= Sender kernel] file system.log
? [<= Level notice] file system.log
? [= Facility auth] [<= Level info] file system.log
? [= Facility authpriv] [<= Level info] file system.log

# Facility com.apple.alf.logging gets saved in appfirewall.log
? [= Facility com.apple.alf.logging] file appfirewall.log file_max=5M all_max=50M

自分のmacのシステムログに直接書き込んでみる

@mymac~$ logger  test-test

@mymac~$ syslog

Jul  1 12:01:38 shoushiichiba-no-MacBook-Air mymac[83126] <Notice>:  test-test
Jul  1 12:01:53 shoushiichiba-no-MacBook-Air syslogd[47] <Notice>: ASL Sender Statistics

ユーザとプライオリティを設定して出力

@mymac~$ logger -t Test -p  local5.notice helloworld

@mymac~$ syslog

Jul  1 12:05:29 shoushiichiba-no-MacBook-Air Test[83128] <Notice>: helloworld

今日やったこと

・ログとは
・ログ解析ツールの紹介
・自分のmacのシステムログを見てみる
・syslogを使ってみる

次回、webサービスでログの解析一通りの流れを行ってみる

次回構築する環境について

Vagrant 1.5.2
Ubuntu 14.04 LTS (Trusty Tahr)
tg-agent 1.1.18(Fluentd 0.10.45)
Elasticsearch 1.2.1
openjdk-7-jre-headless

ログ解析について