Snowflake Summit 2023で聞いてきた内容をまとめていきます。
今回聞いてきたのはSREの考え方をデータパイプラインの構築やデータの信頼性の保証にも活用しよう！というお話です。
データ信頼性エンジニアリング
データ信頼性エンジニアリング（Data Reliability Engineering、DRE）は、サイト信頼性エンジニアリング（Site Reliability Engineering、SRE）の原則をデータ品質監視に適用する手法です。DREの目的は、ビジネス運営と意思決定に重要なデータパイプラインの信頼性を確保することです。
データ信頼性エンジニアリングの原則
SREの7つの原則は、データ品質監視にも適用できます：
- リスクを受け入れる: システムの一部である失敗を受け入れ、その影響を最小化するように作業します。
- 基準を設定する: データの品質と信頼性に対する明確な期待値を設定します。
- 単調な作業を減らす: 自動化によって手動の作業を最小限に抑えます。
- すべてを監視する: データパイプラインのすべての側面を注意深く監視します。
- 自動化を利用する: パイプラインを可能な限り自動化することで、人間のエラーのリスクを減らし、効率を向上させます。
- リリースを制御する: データパイプラインへの変更を慎重に管理して新たな問題の導入を避けます。
- シンプルさを好む: エラーの可能性を減らし、メンテナンスを容易にするために、システムを可能な限りシンプルに保ちます。
具体事例
DREの具体的な事例として複数の企業の活動を例示しています。
- Intuit: Circuit Breakerパターンをデータ品質監視にも活用していくお話です
- Airbnb: Airbnb内で運用されている信頼できるデータを提供するためのデータの認証プロセスであるMidasについて
- Uber: Uber社内で運用されているデータ品質の問題を監視し、自動的に検出し、対処するための一元化されたデータ品質プラットフォーム（UDQ）について
DRE（データ信頼性エンジニアリング）を行うメリット
最後にDREを行っていくことで得られるメリットについての話がありました。
信頼性の高いパイプラインを構築することによってメンテナンスコストが軽減される: 信頼性の高いデータパイプラインを構築すると、そのメンテナンス作業が大幅に減少します。これにより、他の重要なタスクにリソースを集中することが可能になります。
データプロダクトの影響力を高める: データの品質と信頼性を保証することで、データ製品の価値と影響力が向上します。これにより、組織全体の意思決定におけるデータの役割が強化されます。
明確な所有権、問題解決の迅速化: DREによってデータパイプラインの所有権が明確になり、問題が発生した場合の対応が迅速になります。これにより、問題の早期解決とダウンタイムの最小化が可能になります。
信頼性の向上＝投資の増加: データの信頼性が高まると、そのデータへの信頼も高まります。これにより、データプロジェクトへの追加投資が期待できます。これは、データがビジネス上の意思決定や戦略的方向性を導く重要な資源であると認識されているためです。