遅いクエリを駆逐するための第一歩！Lambda と AWS CLI v2 を使って RDS for MySQL のスロークエリを Chatwork に通知してみた

#はじめに
こんにちは。
Mikatus 株式会社でインフラ担当として、AWS を中心にインフラの構築、運用保守等を担当しています。
今回は MySQL のスロークエリを Chatwork へ通知してみた件を書いてみようと思います。

当社システムでは Amazon RDS for MySQL を使用しており、スロークエリに関しては監視ツールを利用して発生状況は監視していましたが、リアルタイムに通知をすることで継続的な改善が行えるように、Chatwork へ通知してみました。
また、先日 AWS CLI v2 プレビュー版が発表されたので、せっかくなので CLI v2 を使って AWS リソースを作成してみました。

##この記事について
この記事では、AWS CLI v2 を用いて AWS Lambda の設定及び Amazon CloudWatch Logs の設定を操作した手順を記載しています。
Amazon RDS のログエクスポート機能、Chatwork の API設定の詳細な手順については触れていません。

##実際の Chatwork 通知内容
最終的に Chatwork に通知される内容です。
関係者が参加しているグループチャットに、bot さんがスロークエリの内容を投稿してくれます。

基本的には CloudWatch Logs に出力している内容をそのまま出力しています。
Time のみ UTC でスロークエリログが出力されるため、JST に変換して通知しています。

##処理概要図

RDS から CloudWatch Logs への出力は RDS のログのエクスポート機能を利用しています。
CloudWatch Logs ではサブスクリプションフィルタを使用して Lambda 関数へ送信し、Python で書かれた関数でログメッセージをパースし Chatwork へ通知しています。
RDS のパラメータグループの long_query_time にて、CloudWatch Logs へ出力するスロークエリを制御できますが、RDS の設定は比較的緩めにして、Lambda 側でしきい値を設け、制御できるようにしています。
(今回は RDS の long_query_time を「5」秒にして、Lambda のしきい値を「10」秒にしました。)

#設定内容
設定した内容を記載していきます。

##AWS CLI v2 のインストール
手元の mac で AWS CLI v2 をインストールします。
インストール手順はこちら
注意点として、まだプレビュー版なので実稼働環境では使用しないでね、とのことです。

テストのプレビューおよび評価として、AWS CLI バージョン 2 が提供されます。現時点では、これを実稼働環境では使用しないことをお勧めします。

下記バージョンがインストールされました。

$ aws2 --version
aws-cli/2.0.0dev2 Python/3.7.4 Darwin/17.7.0 botocore/2.0.0dev1

印象として、CLI v1 では Python のバージョン依存などがあり、若干導入時の手間がありましたが、
CLI v2 では Python がなくてもインストールできるようになっており、だいぶ楽になっていました。

##IAMロールを作成する
###設定値

• ロール名
  • post-slowquery-to-chatwork-LambdaRole
• 信頼されたエンティティ
  • lambda
• Attach アクセス権限ポリシー
  • AWSLambdaBasicExecutionRole (AWS managed policy)

###ロール作成

$ IAM_ROLE_POLICY_DOC="iam-role-policy.json"

# 信頼されたエンティティとして Lambda を設定する
$ cat <<EOF > ${IAM_ROLE_POLICY_DOC}
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "lambda.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}
EOF

$ IAM_ROLE_NAME="post-slowquery-to-chatwork-LambdaRole"
$ IAM_POLICY_ARN="arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole"

# IAMロールを作成する
$ aws2 iam create-role \
    --role-name ${IAM_ROLE_NAME} \
    --assume-role-policy-document file://./${IAM_ROLE_POLICY_DOC}

# 作成した IAMロールの ARN を取得する
$ IAM_ROLE_ARN=`aws2 iam get-role \
    --role-name ${IAM_ROLE_NAME} \
    --query 'Role.Arn' \
    --output text`

# IAMロールに AWSLambdaBasicExecutionRole をアタッチする
$ aws2 iam attach-role-policy \
    --role-name ${IAM_ROLE_NAME} \
    --policy-arn ${IAM_POLICY_ARN}

##Lambda 関数を作成する

ランタイムは python3.7 を使用します。

###コード

lambda_function.py

import json
import base64
import gzip
import re
import os
import datetime
import urllib
import urllib.request

LONG_QUERY_TIME = int(os.environ['LONG_QUERY_TIME'])

chatwork_endpoint = "https://api.chatwork.com/v2"
chatwork_apikey = os.environ['chatwork_apikey']
chatwork_roomid = os.environ['chatwork_roomid']
path = "/rooms/{0}/messages".format(chatwork_roomid)

def lambda_handler(event, context):
    print(json.dumps(event))
    #Base64 でエンコードされ、gzip 形式で圧縮されているため、中身を抽出する
    log_events = json.loads(gzip.decompress(base64.b64decode(event['awslogs']['data'])))
    db_name = log_events['logStream']
    message = log_events['logEvents'][0]['message']
    #ログからクエリ時間を抽出する
    query_time = re.search(r'Query_time: ([0-9]+.[0-9]+)', message)

    #環境変数で指定した時間より大きい場合(今回は 10秒以上)に通知を行う
    if LONG_QUERY_TIME < float(query_time.group(1)):
        timestamp = re.search(r'timestamp=([0-9]+);', message)
        #timestamp を JST 時刻へ変換する
        date = datetime.datetime.fromtimestamp(int(timestamp.group(1))) + datetime.timedelta(hours=9)
        log_message = re.sub(r'# Time:.*\n', '# Time: %s(JST)\n' % str(date), message)
        post_to_chatwork({'body': '[info][title]%s[/title]%s[/info]' % (db_name, log_message)})

def post_to_chatwork(data=None):
    try:
        if data != None:
            data = urllib.parse.urlencode(data).encode('utf-8')
            headers = {"X-ChatWorkToken": chatwork_apikey}
            req = urllib.request.Request(chatwork_endpoint + path, data=data, headers=headers)
        with urllib.request.urlopen(req) as res:
            print(res.read().decode("utf-8"))
            return
    except urllib.error.HTTPError as e:
        print('Error code: %s' % (e.code))
        sys.exit('post_to_chatwork Error')

###環境変数

• LONG_QUERY_TIME
  • Chatwork へ通知するしきい値(秒)
  • 例：10
• chatwork_apikey
  • Chatwork の APIトークン
• chatwork_roomid
  • Chatwork のルーム ID

###Lambda 関数作成

$ LAMBDA_FUNCTION_NAME="post-slowquery-to-chatwork"
$ LAMBDA_RUNTIME="python3.7"
$ LAMBDA_ZIP_FILE="${LAMBDA_FUNCTION_NAME}.zip"
$ LAMBDA_HANDLER="lambda_function.lambda_handler"
$ LAMBDA_ENV="{\
    LONG_QUERY_TIME=10,\
    chatwork_apikey=XXXXX,\
    chatwork_roomid=XXXXX}"

# コードを zip 圧縮する
$ zip ${LAMBDA_ZIP_FILE} lambda_function.py

# Lambda 関数を作成する
$ aws2 lambda create-function \
    --function-name ${LAMBDA_FUNCTION_NAME} \
    --runtime ${LAMBDA_RUNTIME} \
    --zip-file fileb://${LAMBDA_ZIP_FILE} \
    --handler ${LAMBDA_HANDLER} \
    --environment Variables=${LAMBDA_ENV} \
    --role ${IAM_ROLE_ARN}

##CloudWatch Logs サブスクリプションフィルタを設定する

$ LOG_GROUP_NAME="/aws/rds/instance/[rdsinstance]/slowquery"
$ LOG_FILTER_NAME="LambdaStream_post-slowquery-to-chatwork"
$ LAMBDA_ARN=`aws2 lambda get-function \
    --function-name ${LAMBDA_FUNCTION_NAME} \
    --query 'Configuration.FunctionArn' \
    --output text`
$ LOG_ACTION="lambda:InvokeFunction"
$ LOG_PRINCIPAL="logs.ap-northeast-1.amazonaws.com"
$ SOURCE_ACCOUNT=`aws sts get-caller-identity \
    --query 'Account' \
    --output text`
$ SOURCE_ARN="arn:aws:logs:ap-northeast-1:${SOURCE_ACCOUNT}:log-group:${LOG_GROUP_NAME}:*"

# CloudWatch Logs に、関数を実行するためのアクセス権限を付与する
$ aws2 lambda add-permission \
    --function-name ${LAMBDA_FUNCTION_NAME} \
    --statement-id ${LAMBDA_FUNCTION_NAME} \
    --action ${LOG_ACTION} \
    --principal ${LOG_PRINCIPAL} \
    --source-arn ${SOURCE_ARN} \
    --source-account ${SOURCE_ACCOUNT}

# サブスクリプションフィルタを作成する。フィルターパターンは空("")にします
$ aws2 logs put-subscription-filter \
    --log-group-name ${LOG_GROUP_NAME} \
    --filter-name ${LOG_FILTER_NAME} \
    --filter-pattern "" \
    --destination-arn ${LAMBDA_ARN}

以上で設定が完了です。

#さいごに
今回、RDS、Lambda、CloudWatch Logs を利用して、スロークエリを通知させてみました。
これまではスロークエリが発生したら、CloudWatch Logs にログを見に行くというちょっとつらい運用を行なっていたので、これが Chatwork に通知されることで、つらさは軽減されそうです。
将来的にはログ解析ツールなどを駆使して、より詳細な可視化ができればと思っておりますが、またの機会に実装してみようと思います。
AWS CLI v2 についても、今回使用してみた範囲内においては、メリットはあまり享受できませんでしたが、積極的に使ってみようと思います。