Adevinta のリアルタイム分析と ClickHouse Cloud 採用事例
どうも、ClickHouseのMasatoです！
最近、日本のお客さからもBigqueryからの移行の相談を頂きます。BQはめちゃ簡単に便利に使える反面、ガッツリ使うとどうしてもコスト問題にぶち当たります。もちろん、リソース上限を制限すればパフォーマンス問題に。
分析パフォーマンスをめっちゃ高速にして、でもコストは抑えたい。そんな製品は流石に、、、問題ないです！ClickHouseを使いましょう！
ということで、事例の紹介です。本記事は下記よりご確認ください！
https://clickhouse.com/blog/serving-real-time-analytics-across-marketplaces-at-adevinta?loc=bigquery-comparison-page
Adevinta は大手オンラインクラシファイドのスペシャリストであり、世界 11 カ国で 25 以上のプラットフォームを運営しています。MercariやSuumoのようなマーケットプレイスを各国で展開している企業です。
オランダの Marktplaats、ドイツの Mobile.de、フランスの Leboncoin などの有名なサービスを展開しており、毎月数億人にリーチしています。
これらのプラットフォームはすべて「マッチメイキング」を目的としており、
車、アパート、ソファ、新しい仕事など、地域のコミュニティで探しているものを見つける手助けをしています。
人々がより多くを共有し、より無駄をなくす世界を作ることで、つながりや発見のひとつひとつが変化をもたらしているのです。
ミッションと課題
Adevinta 社のミッションは、オンラインで商品やサービスを売買する際に最高のユーザー体験を提供することです。
この目的を達成するために、Adevinta は以下を必要としていました。
- 販売者の広告を監視する仕組み
- インタラクションを追跡する仕組み
- リアルタイムでパフォーマンスを改善できる一元化された分析・ダッシュボードツール
複数のクラウドベースのデータベースサービス（Google BigQuery、Cloud Spanner、ClickHouse Cloud など）を評価した結果、
高いパフォーマンスとスケーラビリティを複数マーケットプレイスで提供でき、最も費用対効果が高いオプションが ClickHouse Cloud であると判断しました。
売り手のためのユーザー視点のリアルタイム分析とダッシュボード
Adevinta の セントラル・データ・プロダクト・チーム は、様々なマーケットプレイスをサポートするデータおよび機械学習（ML）製品の構築を担当しています。
まず特定のマーケットプレイスの課題にフォーカスしてデータソリューションを設計し、その後、他のマーケットプレイスへと拡大・展開していきます。
この際に常に考慮すべきは以下の要件です。
- 再利用性
- 高いアップタイム
- スケーラビリティ
これらを満たすことは容易ではなく、非常に複雑な課題となります。
販売者ニーズへの対応
販売者がリアルタイムで広告を監視できる ユーザー向けリアルタイム分析＆ダッシュボードソリューション が求められていました。
具体的には：
- 閲覧数の追跡
- お気に入り／「いいね！」の把握
- マーケットプレイス内で発生するあらゆるインタラクションのリアルタイムモニタリング
これらの機能を提供することで、販売者は自らの広告パフォーマンスを即座に理解し、改善に活かせるようになりました。
ユーザー向けのパフォーマンス・ダッシュボードで、売り手の広告統計をリアルタイムで表示
セントラル・データ製品チームの、エンジニアリング・マネージャーであるヴァルン・クリシュナニ氏は、次のように説明しています。「私たちは、拡張性があり、かつ低レイテンシーと高スループットでエンドユーザー向けの分析機能を提供できるソリューションを必要としていました。数年前、クリックハウスはリアルタイム分析のために選択され、自己管理環境として実装されました。しかし、Adevinta 社がすべてのアプリケーションをクラウドに移行する計画を立てたとき、チームはさまざまなソリューションを評価し、ニーズに最適なものを決定しました。」
Adevintaのデータパイプラインは、Google Cloud Pub Subイベントバスと連携し、Google DataFlow上で動作するApache Beam Data Flowを利用している。データへのアクセスは、クエリ用のJavaクライアントを介して行われる。
クラウドへの移行
Adevinta は、ClickHouse Cloud、Google BigQuery、Cloud Spanner など、いくつかのクラウドベースのデータベースサービスを評価しました。
主な要求
-
完全に本格的なデータベースサービス
高性能かつ効率的で、インデックス作成、ディザスタリカバリ、バックアップ、リストアなどの機能を備えること。 -
運用の複雑性が低い
専任のサイト信頼性エンジニア（SRE）が不要で、スキーマの進化が可能であること。 -
マネージド・サービスとして容易に拡張可能
-
クラウドにとらわれない
ベンダーロックインを避けられること。 -
導入と運用が簡単
管理者用のユーザーインターフェース（UI）や課金クレジットの仕組みなど。 -
豊富なクエリー言語
-
厳しい SLA に対応可能
応答時間3秒をサービス・レベル・アグリーメントとして設定し、低遅延・高スループットのユースケースに対応できること。 -
現在の本番ワークロードに耐えられること
80B rows（800億行）、18TB の規模。 -
SQLインターフェースによる高度な分析クエリ
ワークロードの特徴
評価の一環として、典型的なワークロードが検討されました。
-
一部は「膨大なデータに対して少量のクエリ」を処理する必要があるワークロード
→ こうした用途には特殊な製品が適している。 -
一方で「少量のデータに対して大量のクエリ」を処理するのは従来のDBシステムが得意。
Adevinta の分析ワークロードはその中間にあたり、1秒間に数十〜数百のリクエストを処理する分析的性質を持っていました。
評価結果と選定理由
-
ClickHouse
- 性能に優れ、クラウドに依存せず、他ソリューションより費用対効果が高い
- 特定のニーズに対して非常に優れたパフォーマンスを発揮
-
BigQuery
- スキャンしたバイト数に基づく従量課金モデルのため ClickHouse の約2倍高い コスト
-
Cloud Spanner
- テストしたワークロードに対して 6倍高い コスト
結論:
Adevinta は、ClickHouse Cloud が予算内に収まり、最も価値のあるソリューションと判断しました。
テストと将来性
- 複数のマーケットプレイスでテストを実施
- 200億行・20TB の単一テーブルを使用
- 1秒あたり22クエリを処理する実績を確認
チームは、将来的にクエリーレートやデータ量がさらに増加することを想定しており、
ClickHouse がその成長にも十分対応できると確信しました。
ClickHouse Cloudでアナリティクスのパフォーマンスとスケーラビリティを向上
Adevinta が ClickHouse Cloud に移行した主なメリットは、自己管理環境が不要になったことです。
「我々が持っていた主要な要件の1つは、専用のサイト信頼性サポートを持たないことでした。
ClickHouse Cloudを使用しなければ、ClickHouseのポテンシャルを活用することはできません。」
拡張性と柔軟性
Ad-Growth チームは、ClickHouse が Adevinta 内の 複数マーケットプレイスへの分析ソリューション拡張に適していることを強調しました。
「例えば、ディープ・ダイブ・アナリティクスや AI、ML を行うことを考えてみてください。
ClickHouse は、データベース・インスタンスへの容易な統合と、より多くのデータの取り込みという点で役立っています。
非常に簡単で、非常に柔軟です。マーケットプレイスは、このようなことができるテクノロジーを見つけ出すのに時間を費やす必要はありません。」
ベンチマークと推奨事項
- Adevinta は、現在のワークロードの約5倍でシステムをテスト。
- 他社への提言：
- Order-Byキーとクエリアクセスパターンを一致させ、両者が整合していることを確認する。
- 個別のワークロードでベンチマークを実行し、実際のプロダクションデータとクエリーパターンに基づいたデータ主導の意思決定を行う。
- ClickHouse は、既知のクエリアクセスパターンに対して最適化・事前構成されている場合に最も効果的。
ClickHouse チームとの協業
Adevinta によると、ClickHouse チームと仕事をするのは 良い経験だったといいます。
「オンボーディングから実行に至るまで、全体的に ClickHouse との仕事はやりがいのある経験でした。
サポート・チームは、複雑なセットアップにおけるテクノロジー導入の支援において、非常に優れています。」
成果
リアルタイム分析のために ClickHouse Cloud を導入したことで、Adevinta は次を実現しました：
- リアルタイムで広告を監視
- ユーザーインタラクションを追跡
- オンラインクラシファイドビジネスにおける 信頼性・スケーラビリティ・効率性を備えたリアルタイム分析ソリューション の構築
まとめ
- 「最近クエリが重くて…」
- 「データが増えるたびにコストが上がってつらい…」
- 「新しいユースケースを追加したいけど、今の基盤じゃ厳しい…」
なんて課題を抱えていれば 、ClickHouse Cloud は「ちょうどいい次の一手」になり得るのではないのでしょうか？ClickHouseは日本語でのサポートを提供していますし、Slack等でもコミュニケーションを取りながらプロジェクトを支援しています。ClickHouseに少しでも興味があれば是非我々にお問い合わせください！
9月30日に6回目となるClickHouse JapanのMeetupを開催します！
オリジナルのクラフトビールも提供していますのでお仕事帰りにお立ち寄りください！
https://www.meetup.com/clickhouse-tokyo-user-group/events/310875919/?eventOrigin=group_upcoming_events