はじめに

AWSでは、最近Dataエンジニアリングの認定があります。

データサイエンス及び機械学習で使用するビックデータに対して、主に下記の取り扱いを行うデータエンジニアリングの体系的な知識体系を身に着けるものです。

データ収集
ストレージ管理/データ蓄積
ETL処理
データ可視化/分析
データガバナンス

試験の全体的な傾向としては、データレイクとしてのS3のサービス利用を主軸に置いた知識体系の試験という印象を受けました。
試験の中で、自身で振り返っておきたいサービスがいくつかあったので備忘として記載しておきます。

1. ストレージ S3 Lenz

Amazon S3（Simple Storage Service） は、AWSのオブジェクトストレージサービス。
S3 LenzはAWSが提供するS3の監視・可視化ツールで、ストレージの使用状況やアクセスパターンを分析できる。
S3のコスト最適化やパフォーマンスの調査に役立つ。

2. Apache Flink 旧 Analytics

Apache Flinkは、ストリームデータ処理のための分散処理エンジン。
以前はAWSのKinesis Data Analytics（KDA）で使われていたが、現在はAmazon Managed Service for Apache Flinkにリブランド。リアルタイム分析やデータの変換・集計に活用される。

3. EKSからDynamoDBへの認証

EKS（Elastic Kubernetes Service） は、AWSのマネージドKubernetesサービス。
EKSのPodがDynamoDBにアクセスするには、**IAMロール（IRSA: IAM Roles for Service Accounts）**を利用する。KubernetesのサービスアカウントにIAMロールを紐づけ、DynamoDBのアクセス権を適用する。

4. 別リージョン間のEFSのコピー

EFS（Elastic File System） は、AWSのマネージドNFSストレージ。
別リージョンへコピーする方法:
AWS DataSyncを利用してEFS間のデータ転送を自動化。rsyncコマンドを使い、EC2経由で手動コピー。EFSリプリケーションを設定し、継続的な同期を実施。

最後に

筆者の目線で断片的に、振り返っておきたい項目を書き出しています。。
データレイクとしてはS3，クエリエンジンとしてAthena、データウェアハウスのサービスとしてはredshiftなどがメインされていました。データレイクとしてのS3の存在感が強く、AWSとしてもS3としてサービスを展開しているのだなぁと感じました。