0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

金融サービス大手 Atome、Flink を捨て RisingWave を採用|リアルタイム特徴量エンジニアリングを1日で実現

0
Posted at

金融サービス大手 Atome、Flink を捨て RisingWave を採用

Atome は、東南アジアを代表する金融サービスプラットフォームであり、リアルタイムでのクレジット承認と支払い監視の能力は、そのビジネスの中核を成しています。これを実現するためには、リスクを正確に評価するために、低レイテンシかつ高スループットで特徴量を計算できる堅牢なシステムが必要です。

RisingWave は、リアルタイムイベントデータを 処理、分析、管理 する最も シンプル で コスト効率に優れた 方法を提供するストリーム処理・管理プラットフォームです。Apache Iceberg™ オープンテーブルフォーマットをネイティブにサポートし、Postgres 互換の SQL インターフェース と DataFrame スタイルの Python インターフェース を備えています。
RisingWave は 1 秒間に数百万件のイベントを 取り込み、リアルタイムストリームと履歴データを継続的に 結合・分析 し、低レイテンシでアドホッククエリに 応答 し、常に最新かつ一貫性のある結果を Apache Iceberg™ またはその他の下流システムに 永続化 します。

しかし、従来の Flink ベースのパイプラインは、新たな脅威に迅速に対応する能力を妨げていました。RisingWave という SQL ベースのストリーミングデータベースを導入することで、Atome はリアルタイムリスク管理の能力を大幅に改善しました。

課題:遅くて複雑なデータパイプライン

従来の Flink ベースのシステムは大きなボトルネックを生み、イノベーションと対応速度を低下させていました。

  • イテレーションの遅さ: Flink には専門的なスキルが必要であり、新しいリスク特徴量やルールを開発・デプロイするプロセスは複雑で、数週間 を要することが多かった。
  • データベースのボトルネック: 特徴量の参照は OLTP データベースに頻繁に対して行われ、その結果、高コストなクエリ と 低スループット が発生し、とりわけピークトランザクション時に問題となった。
  • 運用上の摩擦: 新しい Flink ジョブをパッケージング、デプロイ、バックフィルするプロセスは煩雑であり、リスクチームが新たな不正パターンに対応する能力を遅らせた。

解決策:リアルタイム SQL とマテリアライズドビュー

Atome は、リスクエンジンのためにより俊敏で効率的なストリーム処理基盤を構築するために RisingWave を選択しました。その主な利点は明確かつインパクトのあるものでした。

  • Postgres 風の SQL によるストリーミング: RisingWave により、チームは複雑な結合、ウィンドウ、集計を馴染みのある SQL で表現できるようになりました。これにより、カスタムオペレーターや専門知識が不要となり、パイプライン開発が民主化されました。
  • カスケード型マテリアライズドビュー: OLTP システムへの繰り返しの問い合わせに代わり、特徴量や集計が継続的に最新状態でマテリアライズドビューとして保持されます。これによりデータベース負荷が大幅に削減され、監査可能でデバッグ可能なデータポイントが得られ、可観測性が向上しました。

Atome の本番環境での実装は、MySQL CDC と Kafka からデータを取り込み、すべてを SQL で処理します。これには正規化、速度チェックやクロスストリーム結合といった特徴量の生成、そして最終的な結果をオンラインリスクエンジンが利用するために MySQL テーブルへ出力するプロセスが含まれます。
Atome における RisingWave を用いたリアルタイム特徴量処理の全体フロー図

「RisingWave の Postgres 風 SQL パイプラインにより、特徴量の提供期間を数週間から数日に短縮できました。ジョブのパッケージングも、特注オペレーターも不要で、必要なのは DDL とマテリアライズドビュー、そしてスケールだけです。RisingWave は、CRM やリスク特徴量を含む当社のコア製品におけるリアルタイムデータの基盤となっています。」

— Qian Chao, Senior Manager, Data Platform, Atome

主な成果:性能とスピードの飛躍

RisingWave への移行は、即座にかつ定量的な改善をもたらしました。

  • 開発時間の劇的短縮: 新しいストリーム特徴量を追加するサイクルが 数週間から約1日に 短縮。
  • 高スループット処理: ソースからのスループット 10k rows/s を処理し、シンクに 2k rows/s を出力。
  • 超低レイテンシ: データ取り込みから最終特徴量書き込みまでの平均エンドツーエンドレイテンシは一貫して サブセカンド であり、ピークロード時にもバックプレッシャーは観測されなかった。

ビジネスおよび運用面でのインパクト

これらの技術的成果は、ビジネス価値と運用の安定性に直結しました。

  • 運用面での成果:

    • データベース負荷の削減: トランザクションデータベースへのピーク時のクエリ圧力が大幅に低減。
    • レイテンシの安定性: サブセカンドレイテンシにより、フロー中での確実な承認とリアルタイムのリスク検知が可能に。
    • 迅速な変更管理: リスクチームは 1〜3日 で新しいルールや実験をデプロイ可能に。
  • ビジネス上の利点:

    • 承認時の信頼性向上: より多くの特徴量が低レイテンシで意思決定時に利用可能。
    • コスト管理: 大規模な OLTP クラスターや緊急用リードレプリカの必要性が削減。
    • 拡張性: 同じリアルタイムパイプラインのパターンが CRM パーソナライゼーションなど他のユースケースにも活用され、組織全体の価値創出スピードを加速。

「RisingWave は、リスク管理、不正検知、レコメンデーションシステムを含む金融サービス業界(FSI)を中心に、さまざまな業界でリアルタイム特徴量エンジニアリングの重要な基盤となりつつあります。多くのチームは最初は単一のユースケースで導入しますが、信頼性の高いストリーム処理基盤が成長に伴う特徴量セットのリアルタイム意思決定を支えるため、利用が拡大しています。」

— Sam Hu, GM APJ, RisingWave

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?