0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

RisingWave は、Apache Iceberg™ のオープンテーブルフォーマットをネイティブにサポートしつつ、リアルタイムイベントデータをシンプルかつ低コスト処理分析管理することを目指したストリーム処理&管理プラットフォームです。PostgreSQL互換の SQLインターフェイス と DataFrameスタイルの Pythonインターフェイス の両方を提供します。

RisingWave は秒間数百万イベントを取り込み、ライブストリームと履歴データを継続的に結合・分析し、低レイテンシでのアドホッククエリ処理、さらに最新かつ一貫性のある結果を Apache Iceberg™ や他の下流システムへ永続化できます。

RisingWave: アーキテクチャ図(リアルタイム処理・ストレージ・解析の構成)

60秒で試す手順

RisingWave をスタンドアロンモードでインストール:

curl -L https://risingwave.com/sh | sh

Docker イメージなど他のインストール方法は、クイックスタート をご参照ください。

「ストリーム」「ストア」「クエリ」— すべてを一本化

RisingWave はリアルタイム処理、組み込みストレージ、オープンフォーマット永続化を兼ね備えた エンドツーエンドのストリーミングデータプラットフォーム です。

対応機能:

  • 取り込み:ストリーミングおよびバッチソースから秒間数百万イベントを取り込みます。
  • ストリーム処理:ライブデータと履歴テーブルをリアルタイムかつ増分的に結合・分析します。
  • 配信:最新で一貫性ある結果をデータレイク(例:Apache Iceberg™)や任意の宛先に提供します。

RisingWave の特徴は、統合されたストレージエンジンにあります:

  • オンライン提供:ポイント/レンジクエリに最適化された行ベースストレージで、単桁ミリ秒の応答速度。
  • オフライン永続化:耐久性とコスト効率に優れる Apache Iceberg™ 統合ストレージを内蔵。外部クエリエンジンからのアクセスも可能です。

RisingWave により、リアルタイムデータは単なる処理対象でなく、保存され、クエリされ、システム全体で使い回されます。

主な設計判断

RisingWave は使いやすさとコスト効率を追求した設計が特徴です:

PostgreSQL互換性

  • シームレスな統合:PostgreSQL ワイヤープロトコルに対応し、psql、JDBC、各種 Postgres ツールと連携可能。
  • 表現力のあるSQL:構造化、半構造化、非構造化データに対応した親しみやすいSQL方言を採用。
  • 状態管理の自動化:手動による複雑なステートチューニングが不要です。

S3 をプライマリストレージに採用

RisingWave はテーブルやマテビュー、ストリームジョブの内部状態を S3(または同等のオブジェクトストレージ)に保持し、以下を実現します:

  • 高性能:結合や時間ウィンドウ処理も高速に実行可能。
  • 高速リカバリ:障害発生時も数秒で復旧。
  • 動的スケーリング:負荷増加時に即座にリソースを拡張できます。

エラスティックディスクキャッシュ

メモリだけでなく、ローカルディスクや EBS を利用する エラスティックディスクキャッシュ によって、S3へのアクセスを削減し、レイテンシ減とコスト削減を図ります。

Apache Iceberg™ ネイティブ統合

RisingWave は Apache Iceberg™ と ネイティブ統合 されており、ストリーミングデータを Iceberg テーブルに継続的に投入し、直接読み取りや自動コンパクション、テーブル整備が可能です。オープンフォーマットゆえ、他クエリエンジンとの互換性も保証されています。

得意なユースケース

以下の用途に特に適しています:

  • ストリーミング分析:サブ秒単位の最新データを表示するライブダッシュボード—株取引、スポーツベッティング、IoT監視に最適。
  • イベント駆動アプリ:不正検知や異常アラートなど、重要アプリの高度モニタリング構築に活用できます。
  • リアルタイムデータエンリッチ:多様なソース取り込み→リアルタイムに強化→下流へ配信を継続的に実施。
  • 特徴量エンジニアリング:バッチ&ストリーミングデータを統合コードで特徴量化し、一貫性を保った機械学習モデル構築に。

本番環境での導入

コミュニティ参加

質問や議論、コラボレーション、エンジニア同士のカジュアルなチャットに興味があれば、ぜひ Slack ワークスペース にご参加ください!

貢献のご案内

プロジェクトへの貢献に関心をお寄せいただき、ありがとうございます!詳細は RisingWave Developer Guide をご参照ください。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?