はじめに
本記事は、Databricksのイベント「Databricks Data + AI Summit 2024」の「KWIK TRIP'S DATABRICKS: DRIVEN OPERATIONAL INSIGHT REVOLUTION」の講演内容をまとめた記事です。
Quick TripのデータエンジニアであるLogan Carlson氏とソリューションアーキテクトのSid氏が登壇し、Databricksを活用した取り組みについて詳しく説明しました。
Quick Tripとは
Quick Tripは、6つの州にまたがるコンビニエンスストアおよびガソリンスタンドチェーンで、そのフライドチキンが特に有名です。Quick Tripは、自社製品の多くを自社で生産しており、これにより毎日新鮮な食品を提供することが可能です。
データサービスチームの設立
2年前に設立されたQuick Tripのデータサービスチームは、データアナリストとエンジニアで構成され、旧来のデータウェアハウスの統合と報告を維持しつつ、Databricksのような最新のデータプラットフォームを採用してデータ革新と変革を推進しています。このチームは、内部のIT組織内およびビジネスユニット内で信頼を構築することを目指しています。
主なユースケース
-
ストリーミングデータの統合:
Quick Tripのデータサービスチームは、全社の燃料ポンプからのリアルタイムストリーミングデータを統合し、予測メンテナンスの機械学習ユースケースを探求しています。これにより、燃料ポンプのフィルターが劣化した際の対応が迅速化され、顧客の待ち時間が減少します。 -
データの統一プラットフォーム:
内部のソフトウェア開発チームが開発したアプリケーションのデータを単一のデータプラットフォームに統合することで、データの信頼性が向上し、運用コストと複雑さが削減されました。
技術的実装
Quick Tripのデータプラットフォームの構築には、最新の技術とアーキテクチャが活用されています。以下に、その具体的な実装方法について詳しく説明します。
データアーキテクチャの選択
- Quick Tripは、Databricks、Azure、およびメダリオンアーキテクチャを使用したスケーラブルなデータアーキテクチャを採用。
- メダリオンアーキテクチャは、データをブロンズ（生データ）、シルバー（精製データ）、ゴールド（集計データ）の3層に分けて管理。
- データの整合性と信頼性を確保し、データの流れが明確に、データ品質が保証される。
データの収集と処理
- Azure Event HubsとAWS Kinesisを使用して、店舗およびIoTデバイスからのストリーミングデータをリアルタイムで収集。
- 収集されたデータはAzure Data Lake Storage (ADLS)に保存。
- Databricksのストリーミング機能を用いてリアルタイムに処理。
- データの遅延を最小限に抑え、即座に分析や予測に利用可能。
データの変換と精製
- 収集された生データは、DatabricksのDelta Live Tables (DLT)を使用して精製。
- DLTは、データパイプラインの自動化とデータ品質の保証を提供。
- データのクレンジング、変換、および集約を効率的に実施。
- シルバーレイヤーにおける精製データを生成し、ビジネスインテリジェンスや機械学習に利用可能。
データの保存と提供
- 精製されたデータは、DatabricksのサーバーレスSQLを使用して保存。
- サーバーレスSQLは、コンピューティングリソースの自動スケーリングを提供し、コスト効率を向上。
- データはPowerBIと接続され、リアルタイムのビジネスレポートとして提供。
- ビジネスユーザーは最新のデータに基づいて迅速な意思決定が可能。
機械学習と予測分析
- Quick Tripでは、DatabricksのMLflowを使用して機械学習モデルの管理とデプロイを実施。
- MLflowは、機械学習モデルのライフサイクル管理を簡素化。
- モデルのトラッキング、バージョニング、およびデプロイを一元管理。
- 予測メンテナンスや需要予測など、さまざまな機械学習ユースケースを効率的に実装。
セキュリティとガバナンス
- Quick Tripは、Unity Catalogを使用してデータのセキュリティとガバナンスを管理。
- Unity Catalogは、データアクセスの制御、データのカタログ化、および監査ログの一元管理を提供。
- データの安全性とコンプライアンスを確保。
- データの共有とコラボレーションを促進し、企業全体でのデータの有効活用を支援。
今後の計画
-
Quick Tripは、オープンソース技術を使用して独自の機械学習ソリューションを構築し、内部の特定の要件に合わせてカスタマイズする計画を立てています。これにより、データ駆動の運用洞察がさらに強化され、将来的なビジネスニーズに対応できるようになります。
-
Quick Tripの成功は、シンプルなアーキテクチャの維持とベストプラクティスの遵守にあります。これにより、市場投入のスピードが向上し、全体的な効率が向上しています。セキュリティリスクや移り変わる部品が多いため、共通のガバニングソリューションを実装することが重要です。
まとめ
Databricksを活用したQuick Tripの取り組みは、他の企業にとっても参考になる事例であり、データ駆動の運用洞察を目指す企業にとって貴重な教訓となるでしょう。Quick Tripの成功事例は、データの力を最大限に活用することで、ビジネスの効率と顧客満足度を大幅に向上させる可能性を示しています。
Databricks Champion からのコメント
まさにDatabricksのベストプラクティスに沿った取り組みが紹介されていますね。
Databricksを利用することで、データの保存・変換・機械学習への活用を同一環境で実現できており、さらにそれらのセキュリティやガバナンスの管理を Unity Catalog が担ってくれています。
こちらの事例はDatabricks をこれから使い始めてみたいといった方にはぴったりの内容になると思います！
2024年6月10日~13日にサンフランシスコおよびオンラインにて開催されるDatabricks社主催の年間最大規模のカンファレンスイベント、「Databricks Data＋AI Summit 2024」が開催中！
ナレッジコミュニケーションではイベント開催に伴い、「生成AIの最新トレンドと業界別ビジネスインパクト」をコンセプトに最新アップデート情報やセッションレポートをお届けする特設サイトを公開しておりますのでぜひチェックしてください！