2023/11/27から「AWS Certified Data Engineer - Associate」のBeta試験が始まりました。
Beta試験を受験する機会はそれほど多くありません。せっかくのチャンスなので2023/12/1に初めて受験してきました。
AWS Certified Data Engineer - Associate について
試験の概要を見てみましょう。
AWS Certified Data Engineer - Associate は、コアデータ関連の AWS サービスのスキルと知識や、データパイプラインの実装、問題のモニタリングとトラブルシューティング、ベストプラクティスに従ってコストとパフォーマンスを最適化する能力を検証します。AWS テクノロジーを使用して分析や実用的なインサイトを得るためにデータを変換することにご関心がおありの場合、このベータ試験は、この新しい認定の最初の取得者の仲間入りをする機会を提供します。
「Data Engineer」ということでデータをどう収集して、処理、変換し業務に活用するか、データを扱ううえでの応用的な知識・スキルが問われそうです。AutoMLやローコード・ノーコードツールによってデータ分析や機械学習が民主化されてきた昨今、データエンジニアリングの重要性が窺えます。
| 項目 | 説明 |
|---|---|
| カテゴリ | Associate |
| 試験期間 | 170 分 |
| 試験形式 | 85 問 (択一または多肢選択) |
| 料金 | 75 USD |
| 対面テストまたはオンラインテスト | Pearson VUE テストセンターまたはオンライン監督付き試験 |
| 対象言語 | 英語 |
| ベータ試験の実施日 | 2023 年 11 月 27 日～2024 年 1 月 12 日 |
料金は「USD」と記載されていますが、税抜き7500円で請求されます。
通常のAssociate試験より20問多い、85問をすべて英語で読み進めなければならないといった点で難易度は高めと思われます。
受験者のプロフィール
参考までに筆者の情報を記載します。英語は簡単な読み書きができる程度です。
- 仕事での役割：インフラエンジニア(データエンジニアリングの経験なし)
- AWS Certified Data Analytics - Specialty取得済み
- TOEIC：750点
受験申込み
対象言語が英語のみのため、事前に「特別措置申請」を行います。
特別措置申請を行うと、英語を母国語としない方向けに試験時間を30分延長することができます。時間勝負になりがちな試験では嬉しい対応です。
AWS認定ページの「試験登録」タブを開くと、以下のような記載があります。
試験対応は、試験のスケジューリングを行う前に申請してください。事前申請が必要なものには、英語を母国語としない方向けの追加試験時間も含まれます。
「試験対応」ページを開き、「特別措置のリクエスト」ボタンを押下します。
既に予約済みの試験が一つでもあると以下のような画面となり特別措置のリクエストができませんので、すべての試験をキャンセルしてから申請しましょう。
説明内容をよく読んで理解し、[対応の選択]で「ESL +30 MINUTES」を選択して、「作成」を押下します。
申請後数分で承認されました。
試験を登録すると、時間が30分間延長されていることが確認できました。一方、210分(3時間30分)も集中力が続くのかという不安はあります。
勉強法
本試験を対象にした学習教材はまだ少ないため、試しにAmazon Q(Preview)に聞いてみました。Amazon Qは執筆時点で日本語対応していませんが、分かりやすいよう機械翻訳した内容を記載します。
質問
AWS Certified Data Engineer - Associateの勉強方法を教えてください。
回答
AWS 認定データエンジニア - アソシエイト試験の勉強手順は次のとおりです。
試験ガイドを参照して、試験の形式と対象となる内容領域を理解してください。試験ガイドは AWS 認定ページで入手できます。
AWS 認定データエンジニア - アソシエイト公式練習問題を受講して、問題のスタイルと難易度を理解してください。これは、さらに注力すべき領域を特定するのに役立ちます。
AWS でのデータ分析やデータ ウェアハウジングなどの AWS トレーニング コースを通じて試験のトピックについて学習します。これらは、AWS のサービスに関する実践的なスキルの開発に役立ちます。
Amazon S3、AWS Glue、Amazon Athena など、試験で対象となるサービスのドキュメント ページを参照して、それらの機能と、それらを使用してデータ パイプラインを実装する方法を理解してください。
AWS アカウントでサービスを起動し、チュートリアルに従ってサービスの設定を練習します。これにより、試験中に概念をよりよく思い出すことができます。
オンラインで利用できる模擬テストを受けて、試験環境をシミュレートします。間違った解答に対する解説を復習することが重要です。
試験ガイドに記載されている、AWS 上で費用対効果が高くパフォーマンスの高いデータ ソリューションを構築するためのベスト プラクティスをよく理解していることを確認してください。
Sources
[1] Registration open for AWS Certified Data Engineer – Associate beta exam
模範的な回答ですね。試験ガイドを確認して公式練習問題を受講するというのはどの認定にも通用する王道です。
参考リンクには重要なヒントが書かれています。
AWS 認定データエンジニア – アソシエイトと AWS 認定データ分析 – スペシャリティの主な違い
(中略)
AWS 認定データエンジニア – アソシエイトはデータエンジニアの職務に密接に連携し、データの取り込み、変換、保存、管理に重点を置きます。AWS 認定データ分析 – 専門分野は幅広いドメインをカバーしており、データエンジニアとデータアナリストの両方に関連するトピックが含まれています。AWS 認定データエンジニア – アソシエイトにはプログラミング概念の適用が含まれていますが、AWS 認定データ分析 – スペシャリティには含まれていません。AWS 認定データエンジニア – アソシエイトは、AWS 認定データ分析 – スペシャリティよりもデータの運用、サポート、セキュリティに重点を置いています。
「AWS Data Analytics - Speciality」にはデータエンジニアに関連するトピックが含まれているとのこと。
そこで、公式サイトの「試験ガイド」を参考に、「AWS Certified Data Engineer - Associate」(以下、「Data Engineer」と記載)と「AWS Data Analytics - Speciality」(以下、「Data Analytics」と記載)を比較してみました。
AWS Certified Data Engineer - Associate 試験ガイド
AWS Data Analytics - Speciality 試験ガイド
まずは概要から。
Data Analyticsではデータ分析や処理の比重が大きいのに対し、Data Engineerではデータパイプラインやデータの取り込みと変換に比重が置かれています。
| カテゴリ | AWS Certified Data Engineer - Associate (DEA-C01) | AWS Certified Data Analytics – Specialty (DAS-C01) |
|---|---|---|
| 対象者 | 候補者がデータ パイプラインを実装し、ベスト プラクティスに従ってコストとパフォーマンスの問題を監視、トラブルシューティング、最適化できる能力を検証します。 | データ分析の役割を担う個人を対象としています。この試験では、受験者が AWS のサービスを使って、データからのインサイトを提供する分析ソリューションを設計、構築、保護、および保守する能力を検証します。 |
| 合格スコア | 720 | 750 |
| 試験内容の概要 |
データの取り込みと変換 (34%) データストア管理 (26%) データの操作とサポート (22%) データセキュリティとガバナンス (18%) |
収集 (18%) ストレージとデータ管理 (22%) 処理 (24%) 分析と可視化 (18%) セキュリティ (18%) |
次に分野別のタスクステートメントを比較しました。分野はできるだけ近しいものを統合してタスクステートメントを配置しています。
Data AnalyticsとData Engineerで似たようなタスクステートメントが多いことが分かります。個別に存在するキーワードとしては、Data Analyticsでは「データ可視化」、Data Engineerでは「データパイプライン」や「データ品質」が挙げられます。
| 分野 | AWS Certified Data Engineer - Associate (DEA-C01) | AWS Certified Data Analytics – Specialty (DAS-C01) |
|---|---|---|
| データ収集・変換 | 1.1: データの取り込みを実行する。 1.2: データを変換および処理する。 1.3: データパイプラインを調整する。 1.4: プログラミングの概念を適用する。 |
1.1: 収集システムの運用上の特性を判断する。 1.2: データが発生する頻度、ボリューム、およびデータ ソースを処理する収集システムを選択する。 1.3: データの主要特性 (順序、形式、圧縮など) に対応する収集システムを選択する。 |
| データストア管理 | 2.1: データストアを選択する。 2.2: データカタログシステムを理解する。 2.3: データのライフサイクルを管理する。 2.4: データモデルとスキーマの進化を設計する。 |
2.1: 分析用ストレージソリューションの運用上の特性を判断 する。 2.2: データアクセスとデータ取得のパターンを判断する。 2.3: 適切なデータレイアウト、スキーマ、構造、および形式を選択する。 2.4: 使用パターンとビジネス要件に基づいて、データライフ サイクルを定義する。 2.5: データのカタログ化とメタデータの管理に適したシステムを決定する。 |
| データ処理 | 3.1: AWS のサービスを使用してデータ処理を自動化する。 3.3: データパイプラインを維持および監視する。 3.4: データ品質を確保する。 |
3.1: 適切なデータ処理ソリューションの要件を判断する。 3.2: 分析目的でデータを変換および準備するための ソリューションを設計する。 3.3: データ処理ソリューションの自動化と運用を実現する。 |
| 分析と可視化 | 3.2: AWS のサービスを使用してデータを分析する。 | 4.1: データ分析および可視化ソリューションの運用上の特性を判断する。 4.2: 特定のシナリオに適したデータ分析ソリューションを選択する。 4.3: 特定のシナリオに適したデータ可視化ソリューションを選択する。 |
| データセキュリティとガバナンス | 4.1: 認証メカニズムを適用する。 4.2: 認可メカニズムを適用する。 4.3: データの暗号化とマスキングを確実に行う。 4.4: 監査用のログを準備する。 4.5: データのプライバシーとガバナンスを理解する。 |
5.1: 適切な認証メカニズムおよび認可メカニズムを選択する。 5.2: データの保護と暗号化の手法を適用する。 5.3: データガバナンスとコンプライアンス管理を適用する。 |
最後に試験範囲内のAWSサービスと機能をカテゴリごと比較しました。
違いがあるサービス名を太字にしています。
いずれのサービスも「聞いたことがない」状態にならないようBlack Beltや公式サイトで予習しておきましょう。
| カテゴリ | AWS Certified Data Engineer - Associate (DEA-C01) | AWS Certified Data Analytics – Specialty (DAS-C01) |
|---|---|---|
| Analytics | Amazon Athena Amazon EMR AWS Glue AWS Glue DataBrew AWS Lake Formation Amazon Kinesis Data Firehose Amazon Kinesis Data Streams Amazon Managed Service for Apache Flink(Amazon Kinesis Data Analyticsの後継) Amazon Managed Streaming for Apache Kafka (Amazon MSK) Amazon OpenSearch Service Amazon QuickSight |
Amazon Athena Amazon CloudSearch Amazon EMR AWS Glue Amazon Kinesis AWS Lake Formation Amazon Managed Streaming for Apache Kafka (Amazon MSK) Amazon OpenSearch Service Amazon QuickSight |
| Application Integration |
Amazon AppFlow Amazon EventBridge Amazon Managed Workflows for Apache Airflow (Amazon MWAA) Amazon Simple Notification Service (Amazon SNS) Amazon Simple Queue Service (Amazon SQS) AWS Step Functions |
Amazon MQ Amazon Simple Notification Service (Amazon SNS) Amazon Simple Queue Service (Amazon SQS) AWS Step Functions |
| Cloud Financial Management |
AWS Budgets AWS Cost Explorer |
N/A |
| Compute |
AWS Batch Amazon EC2 AWS Lambda AWS Serverless Application Model (AWS SAM) |
AWS Auto Scaling Amazon EC2 AWS Lambda |
| Containers |
Amazon Elastic Container Registry (Amazon ECR) Amazon Elastic Container Service (Amazon ECS) Amazon Elastic Kubernetes Service (Amazon EKS) |
N/A |
| Database | Amazon DocumentDB (with MongoDB compatibility) Amazon DynamoDB Amazon Keyspaces (for Apache Cassandra) Amazon MemoryDB for Redis Amazon Neptune Amazon RDS Amazon Redshift |
Amazon DocumentDB (MongoDB 互換) Amazon DynamoDB Amazon ElastiCache Amazon Neptune Amazon RDS Amazon Redshift Amazon Timestream |
| Developer Tools | AWS CLI AWS Cloud9 AWS Cloud Development Kit (AWS CDK) AWS CodeBuild AWS CodeCommit AWS CodeDeploy AWS CodePipeline |
N/A |
| Frontend Web and Mobile | Amazon API Gateway | Amazon API Gateway AWS AppSync Amazon Simple Email Service (Amazon SES) |
| Machine Learning | Amazon SageMaker | Amazon SageMaker |
| Management and Governance | AWS CloudFormation AWS CloudTrail Amazon CloudWatch Amazon CloudWatch Logs AWS Config Amazon Managed Grafana AWS Systems Manager AWS Well-Architected Tool |
AWS CloudFormation AWS CloudTrail Amazon CloudWatch AWS Trusted Advisor |
| Migration and Transfer |
AWS Application Discovery Service AWS Application Migration Service AWS Database Migration Service (AWS DMS) AWS DataSync AWS Schema Conversion Tool (AWS SCT) AWS Snow Family AWS Transfer Family |
AWS Database Migration Service (AWS DMS) AWS DataSync AWS Snowball AWS Transfer Family |
| Networking and Content Delivery |
Amazon CloudFront AWS PrivateLink Amazon Route 53 Amazon VPC |
AWS Direct Connect Elastic Load Balancing (ELB) Amazon VPC |
| Security, Identity, and Compliance | AWS Identity and Access Management (IAM) AWS Key Management Service (AWS KMS) Amazon Macie AWS Secrets Manager AWS Shield AWS WAF |
AWS Artifact AWS Certificate Manager (ACM) AWS CloudHSM Amazon Cognito AWS IAM Identity Center (AWS Single Sign-On の後継) AWS Identity and Access Management (IAM) AWS Key Management Service (AWS KMS) Amazon Macie AWS Secrets Manager |
| Storage |
AWS Backup Amazon Elastic Block Store (Amazon EBS) Amazon Elastic File System (Amazon EFS) Amazon S3 Amazon S3 Glacier |
Amazon Elastic Block Store (Amazon EBS) Amazon S3 Amazon S3 Glacier |
Data EngineerとData Analyticsのおおまかな違いが理解できたと思います。
これを踏まえて私は次の試験準備を行いました。
1. Data Analyticsのテキスト・問題集を使用してData Engineerと共通する分野を理解する。
Data Analyticsの学習リソースは既にいくつかありますので、Data Engineerと共通する分野のサービスをしっかり理解しましょう。
- 要点整理から攻略する『AWS認定 データ分析-専門知識』 (Compass Booksシリーズ)
- 1週間で攻略！AWS認定データ分析 – 専門知識 本番用問題集 140問（65問 × 2セット + 10問） 詳解付き AWS認定本番用問題集シリーズ
2. Data Engineer個別のサービス範囲をBlack Beltや公式ドキュメントで理解する。
私の場合、以下のサービスは聞いたことが無かったため個別に学習しました。
他にも理解があやふやなサービス(AWS Lake Formationとか)はBlack Beltを活用しました。
3. Skill Builder の模擬試験
試験の感じをつかむために、模擬試験を受験しました。無料で受験できます。
AWS Certified Data Engineer - Associate 公式練習問題集
結果は以下の通り。このままだと厳しい。
苦手分野は特に重点的に予習しておきましょう。
受験当日
ピアソンVUEのいつもの試験会場、9:30受付で試験を開始します。10:00からの予約ですが少し早く到着しても開始できます。
ポケットの中は空にします。
眼鏡をかけている方は眼鏡の裏(鼻あての部分)まで確認されます。
騒音が気になるようでしたら耳栓をもらうことができます。
上着を着たまま試験室に入室できません。試験室は意外と寒いので上着が無くても耐えられるようにしておきましょう。
受験後の感想
すべて解答するのに170分ぴったり使いました。想定はしていましたが、後半になってくると集中力が切れてきて、問題や選択肢を二度見、三度見することが多くなってきます。30分間の延長がなければ焦って全問解答は難しかったかもしれません。残りの30分はフラグを付けた問題の見直しに充てることができ、特別措置を申請しておいて本当によかったと思いました。試験結果は約90日後に発表されます。
試験の詳細は記載できませんが、Data Analyticsの学習リソースをベースとした勉強法は全くの的外れではなかったことを実感しました。(と書いておいて不合格だったら面目ないですが。)
一般受験は2024年3月から予約開始、4月から受験することができます。受験を検討されている皆さまにとって少しでもお役に立てたならば幸いです。