#さて、ストリーミングが簡単に出来る事は判った・・・
前回の検証で、Equalumを使う事により「実に呆気なく」データのストリーミング処理が実現出来る事は判りましたので、今回は少し本格的な展開を意識して「ストリーミング処理」にインテリジェント(?)を付けてみたいと思います。
##何が使えるのか??
今回試用しているバージョンでは、以下のメニューが選択できるようになっていました。
データベースやSQLに詳しい方であれば、「なーるほどね!」という項目かと思います。
では、取り急ぎ前回作成した「シンプル・ストリーミング」に「フィルタリング」の機能を付けてみたいと思います。
次に必要な項目を設定しますが、データの流れを指示する必要がありますので、矢印をドラッグアンドドロップして今回の流れに変更します。
次にFilterのEditボタンを選択して条件を設定します。
今回は、特定の店舗の売り上げ状況に関する抽出テーブルを作ってみます。今回は「旭町」での販売状況を抽出してみます。
[Input Schema]から「Shop」を選択し条件の「旭町」を設定して、左下の[OK]を選択します。
前回作成したDBにデータが残っていますので、この段階でフィルターの[Preview]を選択すると、フィルタリングされた結果が出てきます(試運転ですね)
無事に静的なフィルタリングはOKの様なので、下流側にターゲットのテーブルを用意して前回のツールを走らせてみます(走らせる前に、念のため既存のテーブルを削除して、全くデータが挿入されていない状況からスタートします)下流側のターゲットに関しては、前回の検証で確認したEqualumお任せの全カラムテーブル化作戦で名前を変えた受け側を作り、そのテーブルに向ってストリーミングしながら「旭町」の情報のみを挿入する事にしました。
前回検証した「シンプルケース」とは波形が全く異なる挙動を示しているのが興味深いと思います。
DBeaverを使って上流側に自動挿入されたデータを確認してみると、想定通りにデータが挿入されている事が判ります。
では、下流側のテーブルを確認してみます。
想定通りに、「旭町」のデータのみが挿入されている事が確認できました。
##少し応用的な事を・・・
フィルターを複数掛ける事も可能ですので、ロジックに気を付けながら先ほどのフィルター設定の部分を変更してみます。
相変わらず、上流側のソースに対しては自動生成ツールのアクセスに比例して、300回のイベント処理が立ち上がっていますが、下流側に対しては、先ほどの1支店抽出以上に対象となるデータが少なくなりますので、辛うじて判る波形が確認出来ます。
DBeaverで下流側のデータを確認してみました。
無事に作業が行われている事が判ります。
#今回のまとめ
今回は、前回に引き続いて基本的なストリーミング処理に「フィルター機能」を加えてみました。次回は少し負荷を加えて追試してみたいと思います。とりあえず取れる情報を押さえた上で、ストリーミングしながら最終系に持ってくるという事が比較的簡単に出来るイメージは持って頂けたかと思います。無いデータは「あの手この手で高度な統計・数学的手法で」近似値を持ってくる事は可能だと思いますが、IoT的な仕組みやビジネス自体が高速に動くような場合では、従来型の電子帳簿のアプローチでは間に合わなくなる可能性も出てくるかと思います。
Equalumを使ってデータを積極的に動かす事により、データでデータを創っていくというより高度なデータドリブン環境が構築できると思いますので、ぜひ検討してみて頂ければと思います。
###柔軟性の為の速さ
これは、データを諦めずに**「変化に強いデータ・ドリブン環境」**を実現する上で非常に重要なポイントになる事を明確に示しているという事なのかもしれません。
#謝辞
本検証は、Equalum社の特別の許可を得て実施しています。この貴重な機会を設定して頂いたEqualum社に対して感謝の意を表すると共に、本内容とEqualum社の公式ホームページで公開されている内容等が異なる場合は、Equalum社の情報が優先する事をご了解ください。