この投稿は、Softlayer夏のブログコンテスト向けの記事です。

宿題やったよ！！

クラウドメール配信サービスSendGridを使って少し大きな規模のメールを配信するシステムを運用し始めると、Webポータル上のACTIVITY機能だけでは管理しきれなくなってきます。ACTIVITYでは過去1週間分のイベントデータしか閲覧できず、検索機能も最低限のものしか用意されていません。イベントデータには、メールの送信、バウンス、開封、クリック、配信停止、迷惑メール報告など、メール配信に関わる重要なデータばかりです。
元々、ACTIVITY機能はイベントデータの簡易閲覧ツールなので、本格的に運用で活用する場合はEvent Webhook機能を使ってユーザ自身がイベントデータを保存する必要があります。Event Webhook機能とは、あらかじめ指定したURLにイベントデータをJSON形式でPOSTする機能です。POSTを受けるWebアプリケーションを構築する必要がありますが、最近ではデータをストアするのに便利なサービスが色々あります。
今回はSoftlayer上に構築したfluentdを経由して、IBM Cloudantというデータベースサービス（中身はCouchDB）にイベントデータを保存する方法をまとめます。

準備

次のサービスのアカウントを持っていることを前提条件で話を進めます。

Bluemix
Softlayer
SendGrid（SoftlayerやBluemixからアカウント作成できますが、日本向けの代理店もあるみたいです）

システム構成

次のような構成で設定します。
[SendGrid]---->[Fluentd(Softlayer)]---->[IBM Cloudant]

SendGrid→FluentdはEvent Webhookによる通知
Fluentd→IBM Cloudantはfluent-plugin-couchで保存

セットアップ

IBM Cloudantの準備

IBM Cloudantでは特にセットアップは必要ありません。ここで必要なのは、アクセス先のホスト名と認証情報のみです。BluemixのダッシュボードでIBM Cloudantへのアクセス情報を確認します。

Fluentdのセットアップ

Softlayer上にfluentdをセットアップします。今回はCentOS7.0-64bit Minimal for VSIの最も低スペックなもので構築しました。sshでマシンにログインして、それぞれ必要なものをインストールします。

# yum install gcc openssl-devel zlib-devel
# wget https://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz
# tar zxvf ruby-2.2.3.tar.gz
# cd ruby-2.2.3
# ./configure
# make
# make install
# gem install fluentd --no-ri --no-rdoc
# fluent-gem install fluent-plugin-couch

ホームディレクトリに戻って、fluentdの設定ファイルのひな形を作成して、設定ファイルを編集します。

# cd
# fluentd --setup ./fluent
# vi ./fluent/fluent.conf

設定ファイル（fluent.conf）の末尾に次の設定を追記します。<HOST>、<USERNAME>と<PASSWORD>部分は、先ほどIBM Cloudantのダッシュボードで確認した認証情報に置き換えます。

<match couch.**>
    type couch
    database sendgrid
    host <HOST>
    port 443
    protocol https
    user <USERNAME>
    password <PASSWORD>
    flush_interval 5s
</match>

設定ファイルの編集が終わったらfluentdを起動します。設定が正しければ、IBM Cloudant側にsendgridという名前のデータベースが自動的に作成されます。自動的に作成されない場合、fluentdの設定に問題があるので確認しましょう。この状態でfluentdはポート番号8888で待ち受けています。

# fluentd -c ./fluent/fluent.conf -vv

SendGridのEvent Notificationのセットアップ

SendGridのEvent Notification設定画面で「HTTP POST URL」にPOST先のURLを設定します。URLのホストはSoftlayer上に作成したマシンのIPアドレスを指定します。また、POSTしたいイベントを「SELECT ACTIONS」でで選択します。特に理由がなければ「All」で全部POSTします。

http://xxx.xxx.xxx.xxx:8888/couch.doc

設定を保存したら「Test Your Integration」ボタンを選択して、サンプルイベントを送信します。

IBM Cloudantでデータベースを確認するとドキュメントが追加されていることが確認できます。後はデータを煮るなり焼くなり思いのままです。

余談

今回、Softlayer、Bluemix、Cloudantいずれも初めて触ってみました。Softlayerはアカウント作成時にマシンも作成するようで、登録したら「今からオーダー確認してできたら連絡するぜ」的メッセージが表示されました。ドライバーとケーブル片手にラック組んでる姿を想像するとアツいですね！いや、実際どうやって準備しているのか知りませんが。

SendGridのイベントデータをIBM Cloudantに保存する

準備

システム構成

セットアップ

IBM Cloudantの準備

Fluentdのセットアップ

SendGridのEvent Notificationのセットアップ

余談