前回は、Equalumのファイルシステム連携機能を検証する為の、CSV利用の際のポイント（カラム属性のキャスト）と、実際に使用するストリーミングFLOW作成を行いました。今回は事前に作成済みのPythonによるCSVファイル作成ツールを使って実際に機能の動作検証を行ってみようと思います。
まずはツールを動かします！
今回の検証は、CSVファイルを10個（それぞれのファイルはデータ10行とカラム情報の11行）作成する事にします。
Equalumがストリーミング処理の結果をテーブルに処理する「ターゲット側のテーブル」を初期化・作成します。
ツールのボタンを選択すると、ターゲット側のMySQL上に指定された名前で空のテーブルが作成されます。
ここでファイル数とデータ数を10に設定し、CSVファイルの作成ボタンを選択するとファイルの生成処理が開始されます。
Equalumが反応してストリーミング処理を行っている事が解ります。
処理されたデータの状況をDBeaverで確認してみる
まずは、前半部分の確認・・・
後半部分を確認・・・・
無事に処理されている事が確認出来ました。
因みに、ローカルのMBP上に設置してあるCSVフォルダーは想定通りに無事に空っぽになっていました。
まとめ
過去数回に渡り、Equalumのファイルシステム機能を使ったCSVファイルのストリーミング処理を検証しましたが、特に難しい箇所も無くノーコードでサクッ！と利用出来ることが確認頂けたかと思います。
因みに、CSVファイルの処理状況を可視化するとこんな感じになります。
意外にリアルタイム処理されている事が解るかと思います。
参考までにCDC処理で5個のサイロDBを1個に統合し、その統合DBから用途別3個と複製1個を生成する、The CDC処理の例はこんな感じです。
流石にEqualumを使った場合は、CDC処理の方が圧倒的に機能・性能ともに優秀ですが、逆に言えばCDC処理が出来ない構成でも「それなりにデータ統合や利活用が出来る！という事が解ります。
ポイント的には文字列ファイルの場合における、カラム属性の調整作業になりますが、これもGUI上で設定を行うだけで簡単に処理が行われますので、特段CSVファイルやファイスシステム機能を使う際でも、引き続き「ノーコードで高度なデータパイプライン作成が誰でも出来る！」という事をご理解頂けたかと思います。
CDCが効くデータベースであれば、CDC経由の即時同期（Exactly Onceサポート）が利用できますが、現実的にはデータベースのでバージョンが少し古いというケースで、CDC対応が出来ない場合が有るかと思います。またデータ頻度的にはバッチ処理からのCSVファイル渡しで問題無い！というケースも結構出てくるかと思います。
今までのアプローチであれば、機能・用途別に異なる仕組みを導入したり（コスト高要因）、苦労されて作り込まれたりしてきたかと思いますが、今後はシンプルにEqualumの統一プラットホーム上で透過的に適材適所・適宜適量的なデータ同期の環境が構築出来る様になります。
ノーコードでシンプルだけど確実・高性能なデータプラットホームが・・・という場合や、変化に即応出来るデータ利活用環境が必要・・、また複数の異なるデータ関連環境の導入・維持管理コストの高騰に悩まれている場合には、Equalumは十分検討対象になれる仕組みである！と断言出来ると思います。
因みに、ターゲットを昨今成長著しい「クラウド系サービス」に接続する事も、同じ様な手順で簡単に実現する事ができますので、利活用環境を取り合えすロケットスタートでクラウドサービスを使って・・・・という場合でも同様にノーコード環境を構築する事が可能となります。
何かのご参考になれば幸いです。