今回はCOMPOSERでの時短可視化に挑戦
前回は駆け足でLogi COMPOSERの概要を見てきましたが、今回は以前に検証を行った
MemSQL
Equalum
と今回のCOMPOSERを組み合わせた検証を行って見たいと思います。
検証構成
今回の検証に用いる構成は以下の通りです。
（１）Pythonを使ったランダム自動データ生成ツールを使って、ランダム間隔でデータを生成しオリジナル側のMySQLに挿入します。
（２）Equalumが設定済みのFLOW処理を行い、ターゲット側のMemSQLにデータを挿入します。
（３）COMPOSERで秒間隔の時間粒度を用いて、上流側のMySQLと下流側のMemSQL双方の即時可視化を行います。
EqualumやMemSQLの検証の際には、結果のテーブル等を確認する方法で作業を行って来ましたが、今回のCOMPOSER標準機能を活用して、一気にリアルタイムの世界を可視化する事で、３つのソリューションが持っている高い処理性能を体感してみたいと思います。
EqualumのFLOW設定
今回のEqualum側FLOW設定になります。
（１） 総計と消費税を計算し、新規に派生カラムを生成・挿入を行う
（２） 幾つかの条件分岐を行い、それぞれに適用するポイント計算と新規派生カラムの生成・挿入を行う
（３） 順番にデータを再構成し、ターゲットのMemSQLにデータを着地させる
という流れで検証してみます。
実際の可視化状況
ダッシュボードの上側が上流側のMySQLの状況を可視化する様に設定され、下側が下流側のMemSQLの状況を可視化する様に構成してあります。
検証は、双方のテーブルにデータが無い状況から開始しますが、CDC処理が始まるとデータベースとしてのインメモリ性能が一気に顕在化し、可視化段階では描画の逆転現象が見られました。
一番右側の折れ線チャートは、最初の1分間が経過すると折れ線チャートの描画を開始し、以後は時系列で双方のデータがシンクロしながら可視化していきます。
後半部分
今回のまとめ
最終的には、MySQL側のテーブル状況と、MemSQL側のテーブル状況をDBeaverで確認し、
両方のTIMESTAMP(6)が揃っている事が検証出来ました。
今回は駆け足でしたが、今まで検証してきた３つのソリューションを組み合わせて、リアルタイム・ストリーミングを実際に可視化して確認する作業を行いました。
COMPOSERの即時可視化性能や、時間情報を活用したライブモードを使うと、Equalum同様に高度なプログラミング等を必要とせずに、リアルタイム・データマイニングを実現する事が出来ます。
また、複数の異なる上流側のサイロDBからリアルタイムでデータをストリーミングし、高性能なインメモリデータベースであるMemSQL上に展開する事で、データベース横断の高度なSQL処理を、圧倒的な処理能力で実現する事ができ、同時にその結果をCOMPOSERのライブモードで即時可視化（利用）する事が出来るという事も解りました。（この部分については、別の検証でRと組み合わせて実施してみたいと思います）
謝辞
今回の検証環境を提供して頂いたMemSQL社、Logi Analytics社、Equalum社に対して、この場を借りて深く御礼申し上げます。