背景
プライベートでデータ分析が必要になったので、せっかくだし AWS を使えないか、試行錯誤することにした。
その過程をメモ書きしていく。
今回目指すこと
データ分析に適した AWS のサービスを見つける。
また、それらサービスの知見を深める。
まずはググる
色々ヒットするが、以下の AWS 公式マンガが分かりやすかった。
データレイクとは？
-> データの保管場所。非構造化データもそのまま保存できる。
データレイク活用の大きな流れは以下の通り。
- 収集
- 蓄積 <-> データカタログ
- 加工 <-> データカタログ
- 分析
- 可視化
データの蓄積は S3。
データの加工・データカタログの作成は AWS Glue。
- データの加工方法に高い自由度が必要な場合は、 AWS EMR。
Amazon EMR
Hadoop/Spark 等のマネージドフレームワーク。
自由度が高く、スケーラビリティを誇る実行基盤。
Hadoop とは？
Hadoopとは、大規模データの蓄積・分析を分散処理技術によって実現するオープンソースのミドルウェア
Spark とは？
Apache Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク
Amazon Redshift
大規模なデータ処理に特化したデータウェアハウス (DWH)。
高速かつスケーラブルな DWH で、S3 条のデータにもアクセスできる。
データウェアハウスとは？
DWH（Data Ware House:データウェアハウス）とは、様々なシステムからデータを集めて整理する、データの「倉庫」
Amazon Redshift では、RDBMS で対応できない、数 TB 規模のデータを取り扱えるようだ。
今回対象にしようとしているのは、精々数 GB 規模のデータなので、他のサービスが適切かもしれない。
Amazon Athena
サーバレスのインタラクティブなクエリサービス。
S3 上のデータを標準 SQL を使って分析でき、クエリ課金でインタラクティブなアドホッククエリに強い。
アドホッククエリとは？
その場限りで使い捨てのクエリ
ハンズオン
以下のサイトに、AWS の各サービスのハンズオンが載っている。
このうち、データレイクハンズオン(下記URL)は、
下記の AWS サービスを利用しているので、今の自分のニーズにマッチしている気がする（特にGlue, Athena, QuickSight)。
- Amazon VPC
- Amazon EC2
- AWS CloudFormation
- AWS IAM
- Amazon OpenSearch Service
- Amazon CloudWatch
- AWS Lambda
- Amazon OpenSearch Service
- Amazon Kinesis Data Firehose
- Amazon S3
- Amazon Athena
- Amazon QuickSight
- Amazon Redshift
- Amazon Redshift Spectrum
- AWS Glue
試しに、このデータレイクハンズオンを試していく。
ハンズオンを試していく
データレイクハンズオンでは、３つのパターンを選べるようだ。
- ニアリアルタイムデータ分析環境（スピードレイヤ）の構築：Lab1 → Lab2 → Lab3
- 長期間のデータをバッチ分析する環境（バッチレイヤ）の構築と、パフォーマンスとコストの最適化：Lab1 → Lab4 or Lab5 → Lab6
- すべて実施：Lab1 → Lab2 → Lab3 → Lab4 → Lab5 → Lab6
せっかくなので、３番目の「全て実施」の方向で構築していく。
完成図はこんな感じ。
Lab1: 初めの準備
Section1: 事前準備
EC2 でキーペアを作成。
Section2: EC2 環境構築
Step1: EC2 1台を CloudFormation で構築
TODO: テンプレートの書き方を学習する
(1-minilake_ec2.yaml)
このステップで、VPC 構築、 Fluentd のインストールができるらしい。すごい。これがインフラのコード化ってやつか・・・。
Lab2: アプリケーションログをリアルタイムで可視化
Section1: OpenSearch Service の設定
Step1: OpenSearch Service の起動
ちょっと詰まりあり。
以下の文言が出てこない・・・。
[info]: #0 Connection opened to OpenSearch cluster => {.....
代わりに、下記のエラーが出てくる。
2022-01-01 17:38:12 +0900 [warn]: #0 failed to flush the buffer. retry_time=0 next_retry_seconds=2022-01-01 17:38:12 +0900 chunk="5d481349520709f026879bd3090f8419" error_class=Elasticsearch::Transport::Transport::Errors::Forbidden error="[403] "
2022-01-01 17:38:12 +0900 [warn]: #0 suppressed same stacktrace
20
どうやら、権限の問題っぽい。
下記コマンドで、root ユーザーに切り替えると、 cp コマンドが通った。
# sudo su -
この後、
- host: OpenSearch Service のエンドポイント
- user: OpenSearch Service のマスターユーザー名
- password: OpenSearch Service のマスターパスワード
を設定して、下記コマンドを実行したが、先程と同じエラーが出た。
# /etc/init.d/td-agent restart
# tail -f /var/log/td-agent/td-agent.log
少し気になったのは、下記のログ。
[403] "
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/elasticsearch-transport-5.0.4/lib/elasticsearch/transport/transport/base.rb:202:in `__raise_transport_error'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/elasticsearch-transport-5.0.4/lib/elasticsearch/transport/transport/base.rb:319:in `perform_request'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/elasticsearch-transport-5.0.4/lib/elasticsearch/transport/transport/http/faraday.rb:20:in `perform_request'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/elasticsearch-transport-5.0.4/lib/elasticsearch/transport/client.rb:131:in `perform_request'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/elasticsearch-api-5.0.4/lib/elasticsearch/api/actions/ping.rb:20:in `ping'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-elasticsearch-2.6.0/lib/fluent/plugin/out_elasticsearch.rb:218:in `client'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-elasticsearch-2.6.0/lib/fluent/plugin/out_elasticsearch.rb:451:in `rescue in send_bulk'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-elasticsearch-2.6.0/lib/fluent/plugin/out_elasticsearch.rb:445:in `send_bulk'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-elasticsearch-2.6.0/lib/fluent/plugin/out_elasticsearch.rb:432:in `write'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.0.2/lib/fluent/plugin/output.rb:1093:in `try_flush'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.0.2/lib/fluent/plugin/output.rb:1318:in `flush_thread_run'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.0.2/lib/fluent/plugin/output.rb:439:in `block (2 levels) in start'
2022-01-01 18:10:11 +0900 [warn]: #0 /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.0.2/lib/fluent/plugin_helper/thread.rb:78:in `block in thread_create'
2022-01-01 18:10:12 +0900 [warn]: #0 failed to flush the buffer. retry_time=0 next_retry_seconds=2022-01-01 18:10:12 +0900 chunk="5d481a7018422269ab33b2f73af82bc4" error_class=Elasticsearch::Transport::Transport::Errors::Forbidden error="[403] "
fluent-plugin-elasticsearch のバージョンが 2.4.0 となっている。
バージョン 2.6.0 をアンインストールしたら、改善するだろうか・・・。
下記コマンドを実行する。
# td-agent-gem uninstall -v 2.6.0 fluent-plugin-elasticsearch
# /etc/init.d/td-agent restart
# tail -f /var/log/td-agent/td-agent.log
同じエラーが出る。
試しに、バージョン 2.4.0 をアンインストールし、 2.6.0 をインストールしてみる。
# td-agent-gem uninstall -v 2.4.0 fluent-plugin-elasticsearch
Successfully uninstalled fluent-plugin-elasticsearch-2.4.0
# td-agent-gem list | grep plugin-elasticsearch
fluent-plugin-elasticsearch (2.6.0)
# /etc/init.d/td-agent restart
# tail -f /var/log/td-agent/td-agent.log
うーん。エラーは変わらず。
ということは、バージョンは関係ないのかな。
ちょっと原因がわからないので、一度 OpenSearch Service のドメインを作り直してみる。
ドメインを再度作り直している時に気づいたのが、
[要素を追加] をクリックし、タイプに [IAM ARN] を選択、プリンシパルに「 ご自身のAWSアカウントID 」を入力、アクションに [許可] を選択
この設定が間違っていた可能性がありそう。
色々試した結果、原因は
[要素を追加] をクリックし、タイプに [IPv4 アドレス] を選択、プリンシパルに「 Lab1で作成したインスタンスのパブリックIP 」を入力、アクションに [許可] を選択
この設定をする際、プリセットされた * これを残したままパブリックIP を入力したため、許可されなかった模様。
かなり時間を溶かしてしまった・・・。まあ、良い勉強になった。
[OpenSearch Dashboards の URL] のをクリックしたところ、
{"Message":"User: anonymous is not authorized to perform: es:ESHttpGet"}
と表示された。原因を調べてみる。
うーん。
リソースポリシーに記載された
"arn:aws:iam::814937260541:root"
が怪しいかなと思ったけど、どうやらこの形式は正しいようだ。
とすると、何でアクセスできないんだろう？
セキュリティポリシー設定で、下記の設定を忘れていた・・・。
こういうの多いな。
タイプに [IPv4 アドレス] を選択、プリンシパルに「 ご自身のIPアドレス 」を入力、アクションに [許可] を選択
これで、 Kibana で可視化できた。
Lab3: アプリケーションログのリアルタイム可視化とアラーム
Section1: EC2 の設定変更
Step1: IAM ロールの設定
Step2: OpenSearch へのロールの認証設定
特に問題なく設定できた。
Section2: CloudWatch, OpenSearch Service の設定変更
Step1: CloudWatch Logs の設定
Step2: OpenSearch Service の設定
Step3: CloudWatch アラームの設定
特につまづくことなく、設定完了。
TODO: CloudWatch の習熟。