ChatOpsによるアプリケーションのエラー監視 (Slack / Hubot / SQS)

概要 / 目的

運用サービスのエラーをHubotを使ってSlackに通知させる。
これによって、
・エラーの早期検知/対応
・エラーのチーム内での共有
が可能となる。

構成 / 手順

構成の概要図は以下の通りです。

処理の主な流れは以下の通りです。
1. 運用サービスのアプリ（今回はCakePHP）で、エラーをハンドリングし、SQSにプッシュ
2. Hubotで定期的にSQSを監視し、エラーがキューに溜まっていれば、それらを取り出してSlackに通知

* アプリからSlackのIncommingWebhook等を使って、直接Slackにエラーを投げた方が構成としてはシンプルですが、
パフォーマンスの面や、アプリ(CakePHP)とエラー監視システム（HubotやSlack）の依存度を下げるために、このような構成にしてます。

実装

アプリからエラーをSQSにプッシュ

PHP用のAWS-SDKが必要です（今回のサンプルで使ったVersionは2.7.0）。
CakePHPのbootstrap.phpなどでエラーをハンドリングして、SQSにメッセージを送信します。
この際、通知用のSlackのchannel名も指定しています。

bootstrap.php

    // Custom Error Handler
    function myapp_error_handler($errno, $errstr, $errfile, $errline, $errcontext) {
        if ((error_reporting() & $errno) === $errno) {
            $title = "[大変です]: エラーが起きたよ !!";
            $uri = isset($_SERVER['REQUEST_URI'])? $_SERVER['REQUEST_URI'] : '';
            $ref = isset($_SERVER['HTTP_REFERER'])? $_SERVER['HTTP_REFERER'] : '';

            $message =  "[{$errno}] {$errstr}\n" .
                        "File :  {$errfile} on line {$errline}\n" .
                        "URI :  {$uri}\n" .
                        'Access IP :  ' . Kh_Device::getIpAddress() ."\n" .
                        "Referer :  {$ref}";// Format error messages*/

            Myapp_AwsSQS_MessageSender4ChatOps::getInstance()->send($title, $message, '#your-slack-channel');
        }
        return  true;
    }   

    // Setting Error Handler
    set_error_handler('myapp_error_handler');

Libs/Myapp/AwsSQS/MessageSender4ChatOps.php

<?php 

use Aws\Sqs\SqsClient as SqsClient;

class Myapp_AwsSQS_MessageSender4ChatOps
{
    private static $__instance;

    private function __construct() {
        $config = array (
                'key' => '**************',
                'secret' => '****************',
                'region' => '*******************'
        );      
        $this->__sqs = SqsClient::factory($config);
    }

    public static function getInstance()
    {
        if (!self::$__instance) {
            self::$__instance = new self;
        }
        return self::$__instance;
    }

    public function send($title, $message, $channel = false)
    {
        //エラーが発生した場合は、アプリは落とさず、メール通知。
        try {
            $queueUrl = $this->__sqs->getQueueUrl(array('QueueName' => 'queue4slack'));//キュー名は適当に
            $this->__sqs->sendMessage(array(
                    'QueueUrl'    => $queueUrl['QueueUrl'],
                    'MessageBody' => json_encode(array('title'=>$title, 'message'=>$message, 'channel'=>$channel)),
            ));         
        } catch (Exception $e) {
            mb_send_mail("[e-mail]", "{$_SERVER['HTTP_HOST']}: Error occured on sending message for chatops", $e->getMessage());
            return;
        }
    }

}

Hubotで定期的にSQS監視 & Slackに通知

Hubot側のコードは以下のレポジトリに上げています。

npmのcron (https://www.npmjs.org/package/cron ) ライブラリを用いて、定期的にSQSに問い合わせを行っています。

実行例

実際にアプリ側でエラーが起きると、以下のようにSlackに通知してくれます。

また、エラー監視だけではなく、サイト上での新着口コミのSlackへの通知なども今回用いたSQS/Hubot/Slackと全く同じ構成でメッセージと通知先のchannel名を変えるだけで簡単に行えます。