こんにちは、えいりんぐーです
2年に1度のイベントがやってきましたね、そうGCP資格の更新です。
私は前回、2020年10月にProfessional Data Engineer資格を更新しました。
それから2年たち、さらにいろいろとアップデートが入っているので、勉強しつつ記録を残したいと思います。
とりあえず今回は、試験のおさらいと、勉強方法、サービスの種類などをまとめます。
Professional Data Engineer とは
公式のページに書いてある通り、GCPを使って、セキュリティやコストを考慮しつつ、データ基盤の構築やデータ処理と分析の業務を行える能力を表す資格です。
勉強するべきことと方法
基本的な内容と方法は以下の通りです。
思い切って、模擬試験を最初に受けるのがいいと思います。無料だし。レベル感分かるし。
- 内容
- GCPのサービス
- セキュリティ
- コスト
- 方法
- ドキュメント
- Cloud Skills Boost
- Codelabs
- 模擬試験
- Coursera
Skills BoostやCodelabsは手を動かせるのはうれしいけど、時間的コスパがちょっとって感じです。
手前味噌ですが、以前に受験した時のブログもありますので、参考までにどうぞ。(^^;
GCPのサービス
データ周りはITの基盤でもありますので、数多くのサービスがありますね。
- BigQuery: いわずと知れたDWH
- Bigtable: 代表的なKVS
- GCS: オブジェクトストレージ
- Cloud SQL: RDB
- Spanner: 水平分散可能なRDB、やべーやつ
- Firestore: 旧Datastore
- Dataproc: Hadoop/Spark環境
- Dataprep: データ処理や可視化のツール
- Cloud Run: AWSでいうFargate、コンテナー動かすやつ
- Memorystore: Redisを使ったメモリストレージ
- Data Migration Service: SQLへの移行サービス
- BigQuery Data Transfer Service: 名前の通り
- Transfer Appliance: データ転送サービスその3
- Storage Transfer Service: データ転送サービスその4
- Logging: AWSでいうCloudWatch、ロギングサービス
- Cloud Scheduler: cron
- Composer : Airflow
- Pub/Sub: Kafka
- Dataflow: Apache Beam
- Data Fusion: ETL / ELT パイプラインツール
- CDN: 小さめだが頻繁にアクセスするデータをエッジにキャッシュしておくサービス
- Vertex AI: ML開発プラットフォーム
- Looker: BIツールでイイ感じの可視化ができる、買収で話題になった
セキュリティ系や管理系、コンピューティングやコンテナー系を入れていなくてこの量です。やべー。
先人のブログ
巨人の肩に乗るのが手っ取り早いところでもあります。
中には2週間で資格とった方もいますね。あまりそういう詰込み得意でないので、うらやましいです...