LoginSignup
0
0

More than 1 year has passed since last update.

Equalumの同期速度を可視化してみた。。

Last updated at Posted at 2021-11-08

以前の投稿でEqualumの検証を行った際に、5個のオリジナルテーブルをCDCの起点にして、最終的に中間の自動統合データベースを含む、5個の新規データベースをExactlyOnceで安心・安全・確実に生成する・・・・という内容の1時間以内チャレンジ!!が有りましたが、今回は、その際に作成したPythonのプログレスバー型可視化でなく、即時可視化が可能なLogiCOMPOSER(旧Zoomdata)を使った「オーバーヘッドを削った版」動画が出来ましたので、取り急ぎ公開させて頂きます。

とりあえず・・・動画から!

作業的には、前回のPythonスクリプトの中から、SQL処理の状況可視化部分だけの残し、それ以外のプログレスバー関連部分を削除した軽量版のツールを作成し、それを走らせた形での即時可視化(ライブモード)を実施します。

可視化ダッシュボードは、かなり以前に検証レポートを共有させて頂いた環境を使って、Equalumと同様のノーコードでサクッと作成しています。

簡単な概要説明を・・・

今回は、オリジナル側のMySQL上のテーブル5個と、最終出力側のSingleStore上のテーブル状況を可視化設定します。

スクリーンショット 2021-10-20 12.02.17.png

左側の5個は、今回の検証で設定した商材別の5店舗分テーブルのデータ状況を可視化しています。

円グラフ3個は、中間の統合テーブルを起点としたCDC処理により自動的に生成される目的別のテーブル状況を可視化しています。

中央と下段は、同じく統合テーブルをCDCレプリケーションしたテーブル状況を可視化しています。

LogiCOMPOSER(旧Zoomdata)の処理技術により、前回のPythonプログレスバー(この関連処理が、ある意味で「全体の速度・効率の足を引っ張っていた気が・・・(汗))可視化とは全く異なる動きで、Equalumの処理効率を的確に可視化している事が解ると思います。

因みに、真ん中のチャートは、少し複雑な処理を可視化側で入れての動作になっていますので、その他のチャートとは動作が異なり、少し遅れて処理が開始しています。

勿論、この可視化ダッシュボードも「ノーコード」で30分程度(作業の多くは、外観調整でした・・・(苦笑))の作業でした。

まとめ

重要な事なので、再度言います・・・・(笑い)

この多段のExactlyOnceで安心・安全・確実にデータを即時同期させるストリーミング・パイプラインの作成も、その状況を即時可視化出来るダッシュボード作成も「1時間以内チャレンジ&ノーコード」で誰でも実現させる事が可能です。

この動画は、上流側へのデータ処理が始まった直後の状況を切り出したものになります。前の動画の中心チャートが統合テーブルのレプリカ側からデータを引っ張っていましたので、この動画では最初に自動統合されているテーブルを可視化したチャートに置き換えてあります。

EQ200.gif

最初にPythonによるデータのランダム挿入処理が行われる左側5個のチャートが動き始め、間髪を入れずにそれらを統合するテーブルのチャートが可視化され、さらに即時最終的な用途別3個のチャートと、統合テーブルのレプリカの状況を可視化しているチャートが、遅滞なく更新されている事が解るかと思います。(Equalum上ではこの動画構成時に合計で9本のパイプラインが並列で処理されています)

EQ200.png

また、今回可視化に使った環境は「LogiCOMPOSER」に名称変更する前のZoomdata版を使いましたが、最新の環境では「更にライブモードの使い勝手」が向上している様ですので、格段に効率の高いノーコード環境が手に入ると思います。

国内でも環境体験プログラムを開始された代理店が有りますので、ご興味があればお声掛けください。(連絡先の紹介をさせて頂けるかと思います)

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0