More than 3 years have passed since last update.

Elasticsearch Service 6.8 に取り込んだログ（INDEX）を Curator で削除するメモ（Lambda Python 3.8 版）

Last updated at 2020-09-23Posted at 2020-01-07

Curator による取り込みログ（INDEX）削除の Elasticsearch Service 6.8 / Lambda Python 3.8 対応化メモを残しておきます。

旧記事：

Elasticsearch Service (6.0/6.2) に取り込んだログ（INDEX）をCuratorで削除するメモ

手順

1. IAM Role の確認／作成

ログ取り込みで IAM Role は作成されてるはずですが、なければ作成します。

IAM Role の作成（以前の ALB/CLB 取り込みメモより）

2. AWS Lambda ファンクションの作成

Lambda にアップロードする .zip ファイルの作成（Amazon Linux 2 上で）

Lambda用アップロードファイル.zip化

$ python3 -m venv dev
$ . dev/bin/activate
(dev) $ mkdir logrotate
(dev) $ cd logrotate/
(dev) $ pip install elasticsearch-curator requests_aws4auth -t ./
（省略）
(dev) $ rm -rf *.dist-info
(dev) $ vi logrotate.py
（ここで「logrotate.py」のコードを入力）
(dev) $ zip -r ../logrotate.zip *

logrotate.py

import boto3
import curator
import os
from elasticsearch import Elasticsearch, RequestsHttpConnection
from requests_aws4auth import AWS4Auth

es_host = os.environ["ES_HOST"]
es_index = os.environ["ES_INDEX_PREFIX"] + "-"
rotation_period = int(os.environ["ROTATION_PERIOD"])
region = os.environ["AWS_REGION"]

def lambda_handler(event, context):
    awsauth = AWS4Auth(
        os.environ["AWS_ACCESS_KEY_ID"],
        os.environ["AWS_SECRET_ACCESS_KEY"],
        region,
        "es",
        session_token=os.environ["AWS_SESSION_TOKEN"]
    )

    es = Elasticsearch(
        hosts=[{"host": es_host, "port": 443}],
        http_auth=awsauth,
        use_ssl=True,
        verify_certs=True,
        connection_class=RequestsHttpConnection
    )
    runCurator(es)


def runCurator(es):
    ilo = curator.IndexList(es)
    ilo.filter_by_regex(kind="prefix", value=es_index)
    ilo.filter_by_age(source="name", direction="older", timestring="%Y%m%d", unit="days", unit_count=rotation_period)
    delete_indices = curator.DeleteIndices(ilo)
    delete_indices.do_action()