データ通知／連携処理サービス
データ通知／連携処理サービスの概要
アプリケーションで自ら実装しなくても、データの通知／連携処理を簡単に行うことができるサービス
- Eメール送信を実現するAmazon Simple Email Service（SES）
- プロトコルやサービスにデータの配信を行うAmazon Simple Notification Service（SNS）
など
メッセージキューイング処理サービス
◉Amazon Simple Queue Service（SQS）
メッセージをキューイングすることで、処理負荷の大きいビデオのエンコーディング（圧縮作業）などのバッチ処理を、複数のEC2インスタンスに振り分けて分散処理する場合に利用する
◎メッセージキューイング
- 異なるソフトウェア間でデータを送受信する手法の一つ
- 直接データを渡すのではなく一旦第三者のソフトウェアに預けることで、送信側も受信側も好きなタイミングで送受信処理を行うことができるようにする方式
・通常、実行中のプログラム間でデータの受け渡しを行うには、送信処理と受信処理をタイミングを合わせて同時に行う必要がある
・お互い相手側の処理が開始あるいは完了するのを待たなければならない
バッチ処理
あらかじめ登録した一連の処理を自動的に実行する処理方式
通知処理サービス
◉Amazon Simple Email Service（SES）
WebアプリケーションからSESで提供されるAPIを実行することで、メールを利用して簡単に通知を行うことができる
◉Amazon Simple Notification Service（SNS）
- AWSで提供されるメッセージ通知サービス
- 任意のメッセージをHTTPSなどの様々なプロトコルでアプリケーションから簡単に送信することができる
- CloudWatch／SQS／Lambdaなど様々なサービスへの通知／連携が可能
◎SNSの要素
トピック
- メッセージを受信するアクセスポイント
- 作成し、購読者がトピックを購読（サブスクライブ）することで通知の送受信が可能になる
購読者（サブスクライバ）
- 対象となるトピックから発信されるメッセージの購読者（サブスクライバ）を設定する
- HTTP／HTTPS
- SQS
- Lambda
など
メッセージの発行（パブリッシュ）
- 作成したトピックに対して、アプリケーションからメッセージを発行する
- SNSサービスを通じて登録されているサブスクライバへ配信される
メッセージを配信（パブリッシュ）／購読（サブスクライブ）する形式をPub／Subと呼ばれる
パイプライン処理サービス
◉AWS Data Pipeline
DBからデータの**取り出し／変換／保存（ELT：Extract Transform Load）など、データに対して順次処理（パイプライン処理）**を行うサービス
◎Data Pipelineの特徴
- ELT処理をスケジュール機能で自動化
- データのパイプライン処理をワークフロー形式で定義
- 処理の成功／失敗などのイベントの通知が可能
- オンプレミス環境との連携が可能
ストリーミング処理サービス
◉Amazon Kinesis
IoTなどのデバイスからデータをリアルタイムに受信して分析する場合に利用する
◎Kinesisの構成サービス
| 種類 | 内容 |
|---|---|
| Kinesis Data Streams | ストリーミングデータの収集 |
| Kinesis Data Firehose | ストリーミングデータの保存 |
| Kinesis Data Analytics | ストリーミングデータの分析 |
| Kinesis Video Streams | 動画のストリーミング処理 |
イベント連携処理サービス
◉Amazon EventBridge
AWS各種サービスや外部のSaaSなどの様々なイベントソースを他サービスの様々なターゲットにリアルタイムに連携するハブのようなサービス
参考