この記事は IDaaS Advent Calendar 2022 8日目の投稿です。
はじめに
Auth0のログはEnterpriseプランでも30日しか保管されません。(2022/12現在)
いざ分析などの要件が出てきた際にログが何も残っていないと困っちゃいますよね。
そのため、別の場所にログを避難させる必要がありますが、新しいテナントを作る度に設定するのは結構めんどくさい・・。
そんなあなたはTerraformを使ってサクっと設定を行いましょう。
設定してみた
以下の構成を考えます。S3に保管した後はAthenaやQuickSightを使って分析・可視化が可能です。
今回はS3に保管するまでを目標にします。
Terraform Auth0 Providerの基本的な利用方法については以下を参照ください。
前提条件
- Auth0のEssentialプラン以上であること
- Log Streaming機能はFreeプランでは利用できません (注意)
- Essentialプランで1つ、Professionalプラン以上で2つ設定可能
Auth0
Auth0のダッシュボードを見てみると、このようにAWS以外のサービスにも対応しているようです。
DatadogやSplunkに直接投げれるのもいいですね。
今回はAWSを指定したいので以下のように記述
log_stream.tf
resource "auth0_log_stream" "eventbridge" {
name = "AWS Eventbridge"
type = "eventbridge"
status = "active"
sink {
aws_account_id = data.aws_caller_identity.self.id
aws_region = data.aws_region.current.name
}
}
data "aws_region" "current" {}
data "aws_caller_identity" "self" {}
EventBridge
サービスを跨いでパラメータの受け渡しができるのがTerraformの良い所です。
aws_cloudwatch_event_busにはauth0_log_streamにより生成された値を指定します。
cwe.tf
resource "aws_cloudwatch_event_bus" "auth0" {
name = auth0_log_stream.eventbridge.sink[0].aws_partner_event_source
event_source_name = auth0_log_stream.eventbridge.sink[0].aws_partner_event_source
}
resource "aws_cloudwatch_event_rule" "auth0" {
name = "auth0"
description = "auth0"
event_bus_name = aws_cloudwatch_event_bus.auth0.name
event_pattern = <<EOF
{
"source": [{
"prefix": "aws.partner/auth0.com"
}]
}
EOF
}
resource "aws_cloudwatch_event_target" "auth0" {
rule = aws_cloudwatch_event_rule.auth0.name
target_id = "Auth0"
arn = aws_kinesis_firehose_delivery_stream.firehose.arn
role_arn = aws_iam_role.auth0_cwe_role.arn
event_bus_name = aws_cloudwatch_event_bus.auth0.name
}
event_patternは要件によって変更してください。今回はとりあえず全てのログを出力してみます。
Auth0のダッシュボードから、Monitoring > Streams > Create Stream > Amazon EventBridgeを選択すると以下のようなサンプルPayloadを確認できます。
{
"id": "623053cf-8e0f-9203-f464-e789cf18b0e2",
"detail-type": "Auth0 log",
"source": "aws.partner/auth0.com/example-tenant-635d694a-8a5a-4f1a-b223-1e0424edd19a/auth0.logs",
"account": "123456789012",
"time": "2020-01-29T17:26:50Z",
"region": "us-west-2",
"resources": [],
"detail": {
"log_id": "",
"data": {
"date": "2020-01-29T17:26:50.193Z",
"type": "sapi",
"description": "Create a log stream",
"client_id": "",
"client_name": "",
"ip": "",
"user_id": "",
"log_id": ""
}
}
}
Kinesis Data Firehose & S3 & CloudWatchLogs
KinesisとS3とログの設定をします。
firehose.tf
resource "aws_kinesis_firehose_delivery_stream" "firehose" {
name = "auth0-kinesis-firehose"
destination = "extended_s3"
extended_s3_configuration {
role_arn = aws_iam_role.firehose_role.arn
bucket_arn = aws_s3_bucket.auth0.arn
buffer_size = 5
buffer_interval = 60
cloudwatch_logging_options {
enabled = true
log_group_name = aws_cloudwatch_log_group.auth0.name
log_stream_name = aws_cloudwatch_log_stream.auth0.name
}
}
}
s3.tf
resource "aws_s3_bucket" "auth0" {
bucket = "${var.auth0_domain}-auth0-log-bucket"
force_destroy = true
}
resource "aws_s3_bucket_public_access_block" "auth0" {
bucket = aws_s3_bucket.auth0.id
block_public_acls = true
block_public_policy = true
restrict_public_buckets = true
ignore_public_acls = true
}
resource "aws_s3_bucket_acl" "auth0" {
bucket = aws_s3_bucket.auth0.id
acl = "private"
}
cwl.tf
resource "aws_cloudwatch_log_group" "auth0" {
name = "auth0-cloudwatch-log-group"
}
resource "aws_cloudwatch_log_stream" "auth0" {
name = "auth0-cloudwatch-log-stream"
log_group_name = aws_cloudwatch_log_group.auth0.name
}
IAM
さいごにIAMの定義をします。
iam.tf
resource "aws_iam_role" "firehose_role" {
name = "auth0-firehose-role"
assume_role_policy = data.aws_iam_policy_document.firehose_assume.json
}
data "aws_iam_policy_document" "firehose_assume" {
statement {
effect = "Allow"
actions = [
"sts:AssumeRole"
]
principals {
type = "Service"
identifiers = [
"firehose.amazonaws.com"
]
}
}
}
resource "aws_iam_role_policy" "firehose_role_policy" {
name = "auth0-firehose-role-policy"
role = aws_iam_role.firehose_role.id
policy = data.aws_iam_policy_document.firehose_role_policy_statement.json
}
data "aws_iam_policy_document" "firehose_role_policy_statement" {
statement {
effect = "Allow"
actions = [
"s3:AbortMultipartUpload",
"s3:GetBucketLocation",
"s3:GetObject",
"s3:ListBucket",
"s3:ListBucketMultipartUploads",
"s3:PutObject"
]
resources = [
"arn:aws:s3:::${aws_s3_bucket.auth0.bucket}",
"arn:aws:s3:::${aws_s3_bucket.auth0.bucket}/*"
]
}
statement {
effect = "Allow"
actions = [
"logs:PutLogEvents"
]
resources = [
"${aws_cloudwatch_log_group.auth0.arn}:*"
]
}
}
resource "aws_iam_role" "auth0_cwe_role" {
name = "auth0-cwe-role"
assume_role_policy = data.aws_iam_policy_document.auth0_cwe_role_assume.json
}
data "aws_iam_policy_document" "auth0_cwe_role_assume" {
statement {
effect = "Allow"
actions = [
"sts:AssumeRole"
]
principals {
type = "Service"
identifiers = [
"events.amazonaws.com"
]
}
}
}
resource "aws_iam_role_policy" "auth0_cwe_role_policy" {
name = "auth0-cwe-role-policy"
role = aws_iam_role.auth0_cwe_role.id
policy = data.aws_iam_policy_document.auth0_cwe_role_policy_statement.json
}
data "aws_iam_policy_document" "auth0_cwe_role_policy_statement" {
statement {
effect = "Allow"
actions = [
"firehose:PutRecord",
"firehose:PutRecordBatch"
]
resources = [
aws_kinesis_firehose_delivery_stream.firehose.arn
]
}
}
確認
それではTerraform Applyしてみます。
適当なユーザーでAuth0のアプリケーションにログインしたのち、少し待ってS3を確認。
うまく出力されました。
2023/02/22追記
最後にEventBusからStart discoveryを実行してあげる必要がありました。(Terraformから有効化できない？
まとめ
- Auth0のログはすぐ消えるのでLog Stream機能を使って別の場所に保管しよう
- Terraformを活用して繰り返し作業の無駄を省こう
IDaaSを利用したアプリケーション開発にお悩みの方は弊社TC3までお問い合わせください。また、優秀なアーキテクトからの応募も常時受け付けています。