可視化

流行りに乗りたいので先人達の真似をしながら作ってみる
Elastic searchに何かしらを格納してkibanaで可視化するのが目標

環境

AWS, Amazon OpenSearch Service
普段AWSを使う機会がないので勉強も兼ねてAWSで挑戦

手順

マネージメントコンソールから作る
サービスは Amazon OpenSearch Service
ただ、2021年9月までは Amazon Elasticsearch Service というサービス名だったらしいので、後者の方が情報はたくさん出てくる

1. ドメイン作成

無料利用枠で作っていく

t2.small.search か t3.small.search
月 750 時間まで
オプションで Amazon Elastic Block Store (Amazon EBS) を月 10 GB 利用可能

ネットワーク周りの設定、VPCやサブネットを選択する
テスト・開発環境では利用できないが SAML 認証も設定可能
AWS Cognito 認証はテスト・開発環境でも設定可能

ドメインのアクセスポリシー
今回はパブリックで自分のGIPのみ許可するポリシー
ビジュアルエディタでGIP追加 -> JSONで確認する

AWS CLIでのコマンドサンプルもある

# r6g.large.search
# 100GiB汎用（SSD）EBS
# 192.0.2.0/32からのみ許可
aws opensearch create-domain --domain-name mylogs --engine-version OpenSearch_1.0 --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

# Elasticsearchバージョン7.10, 
# r6g.large.search
# 100GiB汎用（SSD）EBS
# AWSアカウントIDで識別される単一のユーザーに制限：555555555555
# 3つのアベイラビリティーゾーンにインスタンスを分散

aws opensearch create-domain --domain-name mylogs --engine-version Elasticsearch_7.10 --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'