2024年1月に試験範囲が変更されていたことを知らず、撃沈したので新しい試験範囲のサービスについて、まとめます。
データメッシュ実現を支えるサービス群
Dataplex
- 分散データを統合し、データ管理とガバナンスを自動化するデータファブリック
Data Catalog
- Dataplexの一部として統合された、フルマネージドのメタデータ管理サービス
- データアセットの発見、管理、理解の促進
- 技術的メタデータとビジネスメタデータの橋渡し
- データリネージの追跡
リアルタイムデータ統合を実現するDatastream
Datastream
-
変更データキャプチャ(CDC)とレプリケーションサービス
- CDCツールとは
- CDCツール(Change Data Capture)
- データベース収集のためのツール
- 更新ログ(挿入、更新、削除)を収集し、データレイクに書き込む
- 起動しておけば、ほぼリアルタイムにデータベースのデータを収集できる
- AWSだとAWS Database Migration Service
- CDCツールとは
-
MySQL、PostgreSQL、AlloyDB、SQL Server、Oracleデータベースからのストリーミングデータアクセス
-
BigQueryを使用したほぼリアルタイムの分析
-
自動スケーリングに対応したサーバーレスプラットフォーム
-
ユースケース
- リアルタイム分析: 最新のデータを使用して、ビジネスの洞察を迅速に得る
- データウェアハウスの構築: オンプレミスまたはクラウドのデータベースから BigQuery などのデータウェアハウスにデータをストリーミングする
- アプリケーションのモダナイゼーション: レガシーアプリケーションを最新化し、リアルタイムデータを利用できるようにする
- データベースのマイグレーション: データベースを Google Cloud に移行する際に、ダウンタイムを最小限に抑える
- データレプリケーション: ディザスタリカバリや高可用性のためにデータを複製する
データ変換と分析の効率化
Dataform
-
SQLベースのデータ変換パイプラインを開発・運用するためのサービス
-
データパイプラインの開発、テスト、デプロイ、監視を効率化できる
-
SQLを使用したBigQueryでのデータパイプライン構築(SQLxの機能)
-
GitHubおよびGitLabとの統合(CI/CDとの連携)
-
インフラストラクチャ管理不要のテーブル更新
-
ユースケース
- データウェアハウスの構築と管理: Dataform を使用して、データウェアハウスのスキーマを定義し、データ変換ロジックを実装できます
- データパイプラインの開発と運用: Dataform は、データパイプラインの開発、テスト、デプロイ、監視を効率化します
- データ品質の向上: Dataform のテスト機能を使用して、データ品質を確保し、エラーを早期に発見できます
- データチームのコラボレーション: Dataform は、Git との統合により、データチームのコラボレーションを促進します
ワークフローのオーケストレーションとデータ共有
Workflows
-
サーバーレスなワークフローオーケストレーションサービス
-
複雑なデータパイプラインやETLプロセスを容易に構築・管理できる
-
ワークフロー定義、実行、モニタリング
-
ユースケース
- データパイプラインのオーケストレーション: データの抽出、変換、ロード (ETL) プロセスを自動化します
- ビジネスプロセスの自動化: 注文処理、在庫管理、顧客対応などのビジネスプロセスを自動化します
- マイクロサービスのオーケストレーション: 複数のマイクロサービスを連携させて、複雑なアプリケーションを構築します
- CI/CD パイプラインの構築: アプリケーションのビルド、テスト、デプロイを自動化します
- 機械学習パイプラインの管理: 機械学習モデルのトレーニング、評価、デプロイを自動化します
Analytics Hub
-
組織の境界を越えてデータと分析情報を大規模に共有できるデータ交換プラットフォーム
-
データ共有をセキュアかつ容易にするサービス
-
データプロバイダーはデータをリスト化し、データコンシューマーは簡単にアクセスできる
-
データガバナンスとデータ共有のベストプラクティス
-
Analytics Hubの利用方法
マルチクラウドデータ分析を実現するBigQuery Omni
BigQuery Omni
- マルチクラウド分析サービス
- AWSやAzureなど、複数のクラウド環境でBigQueryを利用できる
- BigQuery Omniのアーキテクチャ
- ユースケース
- パフォーマンス
- AWSのS3データやMicrosoft AzureのBlob Storageデータへの安全な接続
- BigQueryのユーザーインターフェースを使用したクロスクラウドデータクエリ
- クロスクラウド転送機能による効率的なデータ移動
データレイクの進化形、BigLake
BigLake
-
サーバーレスなデータレイクストレージエンジン
-
オープンフォーマットのデータを保存・分析し、データサイロを解消する
-
メタデータキャッシュによってクエリパフォーマンスを向上させることができる
PostgreSQL互換のフルマネージドデータベース、AlloyDB
AlloyDB
- PostgreSQL互換のフルマネージドデータベースサービス
- 標準的なPostgreSQLに比べて最大4倍のスループット、100倍高速なレイテンシ
- 高可用性(99.99%のSLA)と高速メンテナンス
- 機械学習を応用した運用管理の自動化
- ミッションクリティカルなワークロードにも対応できる
- 従来のPostgreSQLと比較したAlloyDBの利点、パフォーマンス特性、運用管理方法
Comments
Let's comment your feelings that are more than good