RisingWave は、Apache Iceberg™ のオープンテーブルフォーマットをネイティブにサポートしつつ、リアルタイムイベントデータをシンプルかつ低コストで処理、分析、管理することを目指したストリーム処理&管理プラットフォームです。PostgreSQL互換の SQLインターフェイス と DataFrameスタイルの Pythonインターフェイス の両方を提供します。
RisingWave は秒間数百万イベントを取り込み、ライブストリームと履歴データを継続的に結合・分析し、低レイテンシでのアドホッククエリ処理、さらに最新かつ一貫性のある結果を Apache Iceberg™ や他の下流システムへ永続化できます。
60秒で試す手順
RisingWave をスタンドアロンモードでインストール:
curl -L https://risingwave.com/sh | sh
Docker イメージなど他のインストール方法は、クイックスタート をご参照ください。
「ストリーム」「ストア」「クエリ」— すべてを一本化
RisingWave はリアルタイム処理、組み込みストレージ、オープンフォーマット永続化を兼ね備えた エンドツーエンドのストリーミングデータプラットフォーム です。
対応機能:
- 取り込み:ストリーミングおよびバッチソースから秒間数百万イベントを取り込みます。
- ストリーム処理:ライブデータと履歴テーブルをリアルタイムかつ増分的に結合・分析します。
- 配信:最新で一貫性ある結果をデータレイク(例:Apache Iceberg™)や任意の宛先に提供します。
RisingWave の特徴は、統合されたストレージエンジンにあります:
- オンライン提供:ポイント/レンジクエリに最適化された行ベースストレージで、単桁ミリ秒の応答速度。
- オフライン永続化:耐久性とコスト効率に優れる Apache Iceberg™ 統合ストレージを内蔵。外部クエリエンジンからのアクセスも可能です。
RisingWave により、リアルタイムデータは単なる処理対象でなく、保存され、クエリされ、システム全体で使い回されます。
主な設計判断
RisingWave は使いやすさとコスト効率を追求した設計が特徴です:
PostgreSQL互換性
-
シームレスな統合:PostgreSQL ワイヤープロトコルに対応し、
psql
、JDBC、各種 Postgres ツールと連携可能。 - 表現力のあるSQL:構造化、半構造化、非構造化データに対応した親しみやすいSQL方言を採用。
- 状態管理の自動化:手動による複雑なステートチューニングが不要です。
S3 をプライマリストレージに採用
RisingWave はテーブルやマテビュー、ストリームジョブの内部状態を S3(または同等のオブジェクトストレージ)に保持し、以下を実現します:
- 高性能:結合や時間ウィンドウ処理も高速に実行可能。
- 高速リカバリ:障害発生時も数秒で復旧。
- 動的スケーリング:負荷増加時に即座にリソースを拡張できます。
エラスティックディスクキャッシュ
メモリだけでなく、ローカルディスクや EBS を利用する エラスティックディスクキャッシュ によって、S3へのアクセスを削減し、レイテンシ減とコスト削減を図ります。
Apache Iceberg™ ネイティブ統合
RisingWave は Apache Iceberg™ と ネイティブ統合 されており、ストリーミングデータを Iceberg テーブルに継続的に投入し、直接読み取りや自動コンパクション、テーブル整備が可能です。オープンフォーマットゆえ、他クエリエンジンとの互換性も保証されています。
得意なユースケース
以下の用途に特に適しています:
- ストリーミング分析:サブ秒単位の最新データを表示するライブダッシュボード—株取引、スポーツベッティング、IoT監視に最適。
- イベント駆動アプリ:不正検知や異常アラートなど、重要アプリの高度モニタリング構築に活用できます。
- リアルタイムデータエンリッチ:多様なソース取り込み→リアルタイムに強化→下流へ配信を継続的に実施。
- 特徴量エンジニアリング:バッチ&ストリーミングデータを統合コードで特徴量化し、一貫性を保った機械学習モデル構築に。
本番環境での導入
- RisingWave Cloud を利用すれば、本番環境への導入が最も簡単です。
- Docker での展開:Docker Compose を参考にしてください。
- Kubernetes での展開:Helm を使う場合は Kubernetes with Helm、または Operator 利用の Kubernetes with Operator をご覧ください。
コミュニティ参加
質問や議論、コラボレーション、エンジニア同士のカジュアルなチャットに興味があれば、ぜひ Slack ワークスペース にご参加ください!
貢献のご案内
プロジェクトへの貢献に関心をお寄せいただき、ありがとうございます!詳細は RisingWave Developer Guide をご参照ください。