More than 3 years have passed since last update.

AWS S3上のデータを SQS と組み合わせて Splunkに取り込む

Last updated at 2020-04-05Posted at 2020-04-04

(追記) SNSは特に不要でしたので記事を修正しました。

はじめに

先日、AWS S3上のデータを Splunkに取り込む記事を書きましたが、シンプルな設定のためスモール環境には適しておりますが、Bucket内のデータ量が増えてくると処理が追いつかずにリアルタイムな分析が出来なかったり、取り込めないなどのデータ欠損の可能性が出てきます。また耐障害性という観点でも弱い構成です。

そこでSplunkが推奨しているSQSと組み合わせた方法で、スケール問題とデータ信頼性問題を解決していきたいと思います。

このような構成にしておくことで、データの配信に関してはSQSが受信確認まで行ってくれますし、Splunk側のInputを増やす事で取り込み速度もスケールさせることができます。つまり信頼性と性能をカバーすることができます。

AWS SQS サービスについては、こちらの解説が詳しくて参考にさせていただきました。
https://www.slideshare.net/AmazonWebServicesJapan/aws-31275003

##SQS based S3 構成時の注意点

以下のマニュアルをまずはご覧ください。
https://docs.splunk.com/Documentation/AddOns/released/AWS/SQS-basedS3

特に注意する点は、新規に追加されたデータのみ対象となるという点です。つまりすでにS3上にあるデータは対象外となってしまいます。過去のデータを取り込むためには前回説明したGeneric S3 取り込みを最初に行ったうで、今回のSQS baseの取り込みを設定する必要があります。

またS3上に保存されているデータの種類毎にSQSを作成する必要があります。これはソースタイプが異なるためInput設定を別に作る必要があるためです。データの種類毎にSQSとSplunk Inputがセットで必要と覚えておいてください。

##設定の流れ

AWS側の設定

IAMユーザーへのポリシー設定
SQS作成 (通常のものと、Dead Queueの２つ) & アクセスポリシーの変更
S3にてSQSへの通知設定

Splunk側の設定
4. Input設定

(*) 今回は Add-On for AWS App のインストールや、IAMユーザーの登録は省略します。詳しくは前回の記事を参照ください。

###1.IAMユーザーへのポリシー付与

IAMユーザーに対して、新規にポリシーを作成して付与します。適用するポリシーはこちらになります。

コピペして利用できます

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sqs:GetQueueUrl",
        "sqs:ReceiveMessage",
        "sqs:DeleteMessage",
        "sqs:GetQueueAttributes",
        "sqs:ListQueues",
        "s3:GetObject",
        "kms:Decrypt"
      ],
      "Resource": "*"
    }
  ]
}

ユーザーに作成したポリシーを付与

###2. SQS作成 (通常のものと、Dead Queueの２つ)&アクセスポリシーの変更

次にSQSを作成します。作成するのは２つになります。

メインキュー ( Splunkと連携するキュー)
Dead letter queue : 正常に処理できないメッセージの送信先として設定するキュー
メインキューの作成 (jmaru-sqs)
Dead letter queue の作成
同様に新規のキューを作成します。

メインキューに対して、dead letterキューを設定します。メインキューにチェックをいれて、「キューの設定」を選択します。

先ほど作成した dead letter キューを入力します。

次にアクセスポリシーを修正します。これはS3からSQSに対してイベント通知ができるように許可を与えるものです。

詳細はこちらをご覧ください。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/ways-to-add-notification-config-to-bucket.html#step1-create-sqs-queue-for-notification

メインキューを選択して、「アクセス許可」 - 「ポリシードキュメントの編集（高度）」をクリック

下の内容をコピペして上書きします。

こちらをコピペして上書き

{
 "Version": "2012-10-17",
 "Id": "example-ID",
 "Statement": [
  {
   "Sid": "example-statement-ID",
   "Effect": "Allow",
   "Principal": {
    "AWS":"*"  
   },
   "Action": [
    "SQS:SendMessage"
   ],
   "Resource": "SQS-queue-ARN",
   "Condition": {
      "ArnLike": { "aws:SourceArn": "arn:aws:s3:*:*:bucket-name" }
   }
  }
 ]
}

"bucket-name" を対象のS3 Bucket名に変更します。