Apacheのアクセスログの解析をやりたいなーとずっと思っているサーバがあるのですが、リアルタイムに解析サーバに流すのが難しい環境なのでEmbulkを試してみようと思います。

Embulkとは

作者の古橋さんによれば

Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。

参照元：http://frsyuki.hatenablog.com/entry/2015/02/16/080150

また、こちらの記事を参考にさせてもらいました。
http://qiita.com/hiroysato/items/397f36c4838a0a93e352

インストール

環境は macOS Sierra です。

EmbulkはJavaアプリケーションなのでJavaをインストールしておいてください。

javaのバージョン

$ java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

Embulkのインストール

公式サイトに書いてあるとおりに、以下のコマンドを実行します。

Embulkのインストール

$ curl --create-dirs -o ~/.embulk/bin/embulk -L "http://dl.embulk.org/embulk-latest.jar"
$ chmod +x ~/.embulk/bin/embulk
$ echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
$ source ~/.bashrc

インストール完了後、バージョンを確認します。

バージョン確認

$ embulk -v
Embulk v0.8.15

プラグインのインストール

Embulk には様々な Input、Output に対応したプラグインがあります。

公式のプラグインページ
http://www.embulk.org/plugins/

今回は Input が Apache アクセスログで、Output が MySQL なので、以下のプラグインを利用します。

Input: embulk-parser-apache-custom-log
Output: embulk-output-mysql

プラグインのインストール

$ embulk gem install embulk-parser-apache-custom-log
$ embulk gem install embulk-output-mysql

サンプルの実行

まずはこちらの手順に従って、Exampleを実行してみます。

適当なディレクトリを用意して

ディレクトリ作成

$ mkdir embulk
$ cd embulk

サンプルファイルを作成すると

サンプルファイルの作成

$ embulk example ./try1
2016-12-03 14:38:30.921 +0900: Embulk v0.8.15
Creating ./try1 directory...
  Creating ./try1/
  Creating ./try1/csv/
  Creating ./try1/csv/sample_01.csv.gz
  Creating ./try1/seed.yml

Run following subcommands to try embulk:

   1. embulk guess ./try1/seed.yml -o config.yml
   2. embulk preview config.yml
   3. embulk run config.yml

こんな感じでファイルが作成されます。

$ tree
.
├── config.yml
└── try1
    ├── csv
    │   └── sample_01.csv.gz
    └── seed.yml

続いて embulk guess を実行すると、ファイルを解析して、設定ファイルに足りていないパラメータを推測してくれるようです。

$ embulk guess   ./try1/seed.yml -o config.yml
  :
in:
  type: file
  path_prefix: /path/to/embulk/try1/csv/sample_
  decoders:
  - {type: gzip}
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    null_string: 'NULL'
    trim_if_not_quoted: false
    skip_header_lines: 1
    allow_extra_columns: false
    allow_optional_columns: false
    columns:
    - {name: id, type: long}
    - {name: account, type: long}
    - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'}
    - {name: purchase, type: timestamp, format: '%Y%m%d'}
    - {name: comment, type: string}
out: {type: stdout}
Created 'config.yml' file.

embulk preview でドライランができます。

ドライラン

$ embulk preview config.yml
  :
+---------+--------------+-------------------------+-------------------------+----------------------------+
| id:long | account:long |          time:timestamp |      purchase:timestamp |             comment:string |
+---------+--------------+-------------------------+-------------------------+----------------------------+
|       1 |       32,864 | 2015-01-27 19:23:49 UTC | 2015-01-27 00:00:00 UTC |                     embulk |
|       2 |       14,824 | 2015-01-27 19:01:23 UTC | 2015-01-27 00:00:00 UTC |               embulk jruby |
|       3 |       27,559 | 2015-01-28 02:20:02 UTC | 2015-01-28 00:00:00 UTC | Embulk "csv" parser plugin |
|       4 |       11,270 | 2015-01-29 11:54:36 UTC | 2015-01-29 00:00:00 UTC |                            |
+---------+--------------+-------------------------+-------------------------+----------------------------+

最後に実行します。

実行

$ embulk run     config.yml
  :
1,32864,2015-01-27 19:23:49,20150127,embulk
2,14824,2015-01-27 19:01:23,20150127,embulk jruby
3,27559,2015-01-28 02:20:02,20150128,Embulk "csv" parser plugin
4,11270,2015-01-29 11:54:36,20150129,
  :

csvが解凍され、標準出力に出力されました。
これでだいたい何をすればいいかわかりましたね。

Inputの設定

設定ファイル

embulk-parser-apache-custom-log は embulk guess に対応していないようなので、config.yml に直接設定を記述します。

config.yml

in:
  type: file
  path_prefix: /path/to/embulk/try1/access_log/sample.access_
  decoders:
  - {type: gzip}
  parser: 
    type: apache-custom-log
    format: "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\""
out: 
  type: stdout

ドライラン

これで、実行してみたところ1つ問題が、、、
embulk-parser-apache-custom-log はJava1.7では動作しないようです。

$ embulk preview config.yml
  :
2016-12-03 15:37:04.469 +0900 [INFO] (0001:preview): Loading files [/path/to/embulk/try1/access_log/www01.log_.access_20160106]
LoadError: load error: embulk/parser/apache-custom-log -- java.lang.UnsupportedClassVersionError: org/embulk/parser/ApacheCustomLogParserPlugin : Unsupported major.minor version 52.0
  :

こちらを参考に、Java8をインストールし、JAVA_HOMEを変更します。

JAVA_HOMEの変更

$ /usr/libexec/java_home -V
Matching Java Virtual Machines (3):
    1.8.0_111, x86_64:	"Java SE 8"	/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home
    1.8.0_73, x86_64:	"Java SE 8"	/Library/Java/JavaVirtualMachines/jdk1.8.0_73.jdk/Contents/Home
    1.7.0_40, x86_64:	"Java SE 7"	/Library/Java/JavaVirtualMachines/jdk1.7.0_40.jdk/Contents/Home

/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

$ JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

$ java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

再度、実行してみます。

$ embulk preview config.yml
  :
2016-12-03 15:49:59.571 +0900 [INFO] (0001:preview): LogFormat : %h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-Agent}i"
2016-12-03 15:49:59.571 +0900 [INFO] (0001:preview): RegExp    : (.*) ([^\s]*) (.*) \[([^\]]+)\] "(.*)" ([1-9]\d{2}) (-?\d+|-) "(.*)" "(.*)"
2016-12-03 15:49:59.572 +0900 [INFO] (0001:preview): replacement : 9
+--------------------+------------------------+---------------------+-------------------------+----------------------------------+----------------------+---------------------+-------------------------------+------------------------------------+
| remote-host:string | remote-log-name:string | request-user:string |  request-time:timestamp |              request-line:string | response-status:long | response-bytes:long | request-header-Referer:string |   request-header-User-Agent:string |
+--------------------+------------------------+---------------------+-------------------------+----------------------------------+----------------------+---------------------+-------------------------------+------------------------------------+
|    XXX.XXX.XXX.XXX |                        |                     | 2016-01-05 15:00:04 UTC | GET /server-status?auto HTTP/1.1 |                  200 |                 701 |                               |   munin/2.0.21 (libwww-perl/5.833) |

Inputは問題なさそうです。

Outputの設定

つづいてOutputの設定をします。

データベースの作成

データ投入先のMySQLデータベースを作成します。

MySQLのバージョン

$ mysql --version
mysql  Ver 14.14 Distrib 5.7.16, for osx10.12 (x86_64) using  EditLine wrapper

データベースを作成

mysql> CREATE DATABASE embulk DEFAULT CHARACTER SET utf8;
mysql> CREATE USER embulk_adm@localhost IDENTIFIED BY 'password';
mysql> GRANT ALL ON embulk.* TO embulk_adm@localhost;

テーブルは作成しません。テーブルが存在しない場合、プラグインが作成してくれます。

設定ファイル

設定ファイルの out の部分をMySQLに書き変えます。

config.yml

in:
  type: file
  path_prefix: /path/to/embulk/try1/access_log/sample.access_
  decoders:
  - {type: gzip}
  parser: 
    type: apache-custom-log
    format: "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\""
out: 
  type: mysql
  host: localhost
  user: embulk_adm
  password: embulk
  database: embulk
  table: apache_access_log
  mode: insert_direct

データ

データは下記のように配置しました。

$ tree
.
├── config.yml
└── try1
    ├── access_log
    │   └── sample.access_20160106.gz
    └── seed.yml

実行

それでは実行してみます。

実行（1回目）

$ embulk run config.yml
  :
2016-12-03 17:44:32.439 +0900 [ERROR] (0001:transaction): Operation failed (1146:42S02)
org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'performance_schema.session_variables' doesn't exist
  :

エラー！
performance_schema を見ているようですね。
root ユーザーでアクセスするように変更します。（いろいろいじっていたら権限付与がエラーになってしまったので）

config.yml

  :
out: 
  type: mysql
  host: localhost
  user: root
  password: password
  database: embulk
  table: apache_access_log
  mode: insert_direct

これで行けるかな？

実行（2回目）

$ embulk run config.yml
  :
org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'performance_schema.session_variables' doesn't exist
  :

またエラー。。。
確認したら session_variables テーブルが存在しませんでした。

どうも以前に MySQL5.7 をインストールしていたのを忘れていて、再インストールしたのがよくなかったようです。
下記のコマンドでMySQLをアップグレードし、再起動します。

MySQLをアップグレード

$ mysql_upgrade -u root -p --force
$ mysql.server restart

今度こそ。

実行（3回目）

$ embulk run config.yml
  :
2016-12-03 17:59:03.254 +0900 [INFO] (main): Committed.
  :

無事完了したようです。

結果確認

テーブルが作成されています

mysql> show tables;
+-------------------+
| Tables_in_embulk  |
+-------------------+
| apache_access_log |
+-------------------+
1 row in set (0.00 sec)

テーブル定義

mysql> desc apache_access_log;
+---------------------------+------------+------+-----+-------------------+-----------------------------+
| Field                     | Type       | Null | Key | Default           | Extra                       |
+---------------------------+------------+------+-----+-------------------+-----------------------------+
| remote-host               | text       | YES  |     | NULL              |                             |
| remote-log-name           | text       | YES  |     | NULL              |                             |
| request-user              | text       | YES  |     | NULL              |                             |
| request-time              | timestamp  | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |
| request-line              | text       | YES  |     | NULL              |                             |
| response-status           | bigint(20) | YES  |     | NULL              |                             |
| response-bytes            | bigint(20) | YES  |     | NULL              |                             |
| request-header-Referer    | text       | YES  |     | NULL              |                             |
| request-header-User-Agent | text       | YES  |     | NULL              |                             |
+---------------------------+------------+------+-----+-------------------+-----------------------------+
9 rows in set (0.00 sec)

件数

mysql> select count(*) from apache_access_log;
+----------+
| count(*) |
+----------+
|    29416 |
+----------+
1 row in set (0.01 sec)

データ

mysql> select * from apache_access_log limit 1;
+--------------+-----------------+--------------+---------------------+----------------------------------+-----------------+----------------+------------------------+----------------------------------+
| remote-host  | remote-log-name | request-user | request-time        | request-line                     | response-status | response-bytes | request-header-Referer | request-header-User-Agent        |
+--------------+-----------------+--------------+---------------------+----------------------------------+-----------------+----------------+------------------------+----------------------------------+
| XXX.XX.XX.XX | NULL            | NULL         | 2016-01-06 00:00:04 | GET /server-status?auto HTTP/1.1 |             200 |            701 | NULL                   | munin/2.0.21 (libwww-perl/5.833) |
+--------------+-----------------+--------------+---------------------+----------------------------------+-----------------+----------------+------------------------+----------------------------------+
1 row in set (0.00 sec)

今回はここまで。