はじめに
AWSの認定資格は2024年6月8日現在、有効なものが10種類あります
その中で今年新しく追加されたAWS Certified Data Engineer - Associate(DEA)の認定に合格したのでその振り返り記事を投稿します。
どんな問題が出たかをここで書くことができませんが、どういう観点で対策すべきかを記載しますので今後の学習の参考にしていただけると幸いです。
どんな試験か
どんな試験かについては公式の試験ガイドに記載があります
受けてみた印象では、以下の内容に関する知識が問われていました。
1.データアクセスのセキュリティ
・ストレージやDBに保存されたデータに対してユーザ(アカウントやアクセス元が異なる)ごとのアクセスできる範囲を分けるにはどうするか?
2.データアクセスのコスト管理
・ストレージやDBに保存されたデータに対して1回限りのデータアクセスする場合、同じデータに繰り返しアクセスする場合、不規則にデータアクセスする場合でアクセスの方法はどのように変わるか
・データを処理するAWSシステムを作る時にそのデータ量やデータの種類(ストリーミングデータ、CSV、JSONなど)に応じてどのAWSサービス(もしくはその組み合わせ)を選択するか、それが無駄のない作りにできているか
3.データをストレージやDBに保存するときにどのような処理が行われるか
・オンプレミスにあるデータをAWSに持ってくるときにどのようなAWSサービスを使うか、DBやS3にデータ保持する前にどのような前処理が必要かユースケースごとの知識が問われました
4.データ処理コマンドやSQLの知識
・データアクセスするときによくつかわれるSQLやデータベースアクセスするときに余計なデータを排除したり整合性を担保したいときなどのユースケースで使われるコマンドのオプションに関する知識もあると良いです
試験難易度
あくまでも個人的な感想ですが、アソシエイト試験の中では1番簡単に感じました。
簡単に感じる要因としては範囲の狭さがあります。データ分析の一連の流れは「データの取得」「データの保持」「データの分析」「データの可視化」だと考えていますが、これにかかわる代表的なAWSサービスはかなり限られています。
要するにこれらのサービスの特徴と似たサービスの違い、よくあるユースケースを学べば合格ラインに達します。
とはいえ試験範囲の学習の準備なしに合格できるかときかれると難しいと思います。旧DASよりは簡単だけど基本が抑えられていないと合格できないかなり絶妙なラインで作られている、アソシエイトレベルを測るという見方ではかなり完成度が高い試験に思いました。
データ分析にかかかわるAWSサービスの整理
私なりに考えるデータ分析の各ステップのAWSサービスの分類をしておきます.
人によっては分類が異なるものもあると思いますが、あくまでも1つの考え方として知識の整理のための参考にしていただけると良いかなと思います。
一番は自分の中の基準で分類できれば応用含めてしっかり理解できると思います
※この記事に書いた内容が全てではないので、試験ガイドにあるキーワードがどの分類にまとめられるか、新たな項目の分類になるかを整理出来たらなお良いです
「データの取得」
・オンプレからデータを取得したい
→DataSync
・ストリーミングデータを取得したい
→KinesisDataStream、KinesisFirehose
「データの保持」
・非構造化データを保持したい
→S3
・ストリーミングデータを保持したい
→DynamoDB
・データ分析用のデータを大量に保持したい
→Redshift
・EC2でできるデータを保持したい
→EBS
・データに対して細かいアクセス制限を設けたい
→LakeFormation
・いろんなところで管理されているデータを一括管理したい
→DataCatalog
「データの分析」
> めちゃめちゃ大量のデータを処理する
・速く処理したい
→EMR
・ゆっくりでもOK
→Glue
> ステップに分けて分析したい
・いろんなAWSサービスで役割分担して分析したい
→StepFunctions
・ELT(Extract(抽出)、Load(書き出し)、Transform(変換))をするが他サービスは基本的に不要
→Glueワークフロー
> ストリーミング
・ストリーミングデータをリアルタイム分析したい
→Amazon Managed Service for Apache Flink(旧:Amazon Kinesis Data Analytics)
> 分析の頻度
・とりあえず1回内容を確認してみたいだけ
→Athena
・データができた時点でそれをきっかけにして分析を開始する
→Lambda
・定期的に分析する
→EventBridge、Glue
「データの可視化」
・リアルタイムで可視化したい
→Grafana
・定期的にデータ更新して可視化したい
→QuickSight
さいごに
AWSの認定は去年から3つほどなくなりましたが、時代に合わせた内容の認定も出てきてそれを学習する動機ができてとても良いですね。
あと、試験の内容をどこまで話してはいけないのかわかりませんが、私が前回受けた去年の2月から試験のUIが少し変わっていました。なんというか、目にやさしい設定に変更できる感じです。結構ハッピー。
あと、今年のAWS SummitでDEA取得者にはクッキーが配られるとか。ちょっぴりハッピー。
でも去年のSummitでは全冠達成記念Tシャツもらおうと思って基調講演終わってダッシュでもらいに行ったらすでに在庫なしになっていたし、認定ステッカーの一部も在庫切れになってたからきっと今年も基調講演聞いている間に在庫切れになっちゃうんだろうなぁ;