Why not login to Qiita and try out its useful features?

We'll deliver articles that match you.

You can read useful information later.

1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

3-shakeAdvent Calendar 2024

Day 17

PDE(Google Cloud Professional Data Engineer試験)の新試験範囲のサービスまとめ

Posted at

2024年1月に試験範囲が変更されていたことを知らず、撃沈したので新しい試験範囲のサービスについて、まとめます。

データメッシュ実現を支えるサービス群

Dataplex

  • 分散データを統合し、データ管理とガバナンスを自動化するデータファブリック

Data Catalog

  • Dataplexの一部として統合された、フルマネージドのメタデータ管理サービス
  • データアセットの発見、管理、理解の促進
  • 技術的メタデータとビジネスメタデータの橋渡し
  • データリネージの追跡

リアルタイムデータ統合を実現するDatastream

Datastream

  • 変更データキャプチャ(CDC)とレプリケーションサービス

    • CDCツールとは
      • CDCツール(Change Data Capture)
      • データベース収集のためのツール
      • 更新ログ(挿入、更新、削除)を収集し、データレイクに書き込む
      • 起動しておけば、ほぼリアルタイムにデータベースのデータを収集できる
      • AWSだとAWS Database Migration Service
  • MySQL、PostgreSQL、AlloyDB、SQL Server、Oracleデータベースからのストリーミングデータアクセス

  • BigQueryを使用したほぼリアルタイムの分析

  • 自動スケーリングに対応したサーバーレスプラットフォーム

  • ユースケース

    • リアルタイム分析: 最新のデータを使用して、ビジネスの洞察を迅速に得る
    • データウェアハウスの構築: オンプレミスまたはクラウドのデータベースから BigQuery などのデータウェアハウスにデータをストリーミングする
    • アプリケーションのモダナイゼーション: レガシーアプリケーションを最新化し、リアルタイムデータを利用できるようにする
    • データベースのマイグレーション: データベースを Google Cloud に移行する際に、ダウンタイムを最小限に抑える
    • データレプリケーション: ディザスタリカバリや高可用性のためにデータを複製する

データ変換と分析の効率化

Dataform

  • SQLベースのデータ変換パイプラインを開発・運用するためのサービス

  • データパイプラインの開発、テスト、デプロイ、監視を効率化できる

  • SQLを使用したBigQueryでのデータパイプライン構築(SQLxの機能)

  • GitHubおよびGitLabとの統合(CI/CDとの連携)

  • インフラストラクチャ管理不要のテーブル更新

  • ユースケース

    • データウェアハウスの構築と管理: Dataform を使用して、データウェアハウスのスキーマを定義し、データ変換ロジックを実装できます
    • データパイプラインの開発と運用: Dataform は、データパイプラインの開発、テスト、デプロイ、監視を効率化します
    • データ品質の向上: Dataform のテスト機能を使用して、データ品質を確保し、エラーを早期に発見できます
    • データチームのコラボレーション: Dataform は、Git との統合により、データチームのコラボレーションを促進します

ワークフローのオーケストレーションとデータ共有

Workflows

  • サーバーレスなワークフローオーケストレーションサービス

  • 複雑なデータパイプラインやETLプロセスを容易に構築・管理できる

  • ワークフロー定義、実行、モニタリング

  • ユースケース

    • データパイプラインのオーケストレーション: データの抽出、変換、ロード (ETL) プロセスを自動化します
    • ビジネスプロセスの自動化: 注文処理、在庫管理、顧客対応などのビジネスプロセスを自動化します
    • マイクロサービスのオーケストレーション: 複数のマイクロサービスを連携させて、複雑なアプリケーションを構築します
    • CI/CD パイプラインの構築: アプリケーションのビルド、テスト、デプロイを自動化します
    • 機械学習パイプラインの管理: 機械学習モデルのトレーニング、評価、デプロイを自動化します

Analytics Hub

  • 組織の境界を越えてデータと分析情報を大規模に共有できるデータ交換プラットフォーム

  • データ共有をセキュアかつ容易にするサービス

  • データプロバイダーはデータをリスト化し、データコンシューマーは簡単にアクセスできる

  • データガバナンスとデータ共有のベストプラクティス

  • Analytics Hubの利用方法

マルチクラウドデータ分析を実現するBigQuery Omni

BigQuery Omni

  • マルチクラウド分析サービス
  • AWSやAzureなど、複数のクラウド環境でBigQueryを利用できる
  • BigQuery Omniのアーキテクチャ
  • ユースケース
  • パフォーマンス
  • AWSのS3データやMicrosoft AzureのBlob Storageデータへの安全な接続
  • BigQueryのユーザーインターフェースを使用したクロスクラウドデータクエリ
  • クロスクラウド転送機能による効率的なデータ移動

データレイクの進化形、BigLake

BigLake

  • サーバーレスなデータレイクストレージエンジン

  • オープンフォーマットのデータを保存・分析し、データサイロを解消する

  • メタデータキャッシュによってクエリパフォーマンスを向上させることができる

PostgreSQL互換のフルマネージドデータベース、AlloyDB

AlloyDB

  • PostgreSQL互換のフルマネージドデータベースサービス
  • 標準的なPostgreSQLに比べて最大4倍のスループット、100倍高速なレイテンシ
  • 高可用性(99.99%のSLA)と高速メンテナンス
  • 機械学習を応用した運用管理の自動化
  • ミッションクリティカルなワークロードにも対応できる
  • 従来のPostgreSQLと比較したAlloyDBの利点、パフォーマンス特性、運用管理方法
1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up

Comments

No comments

Let's comment your feelings that are more than good

1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?