最後にバッチ処理自体を原点回帰させるお話を・・

今回は、前回の補足編1で少し足りなかった、分担データシステムにおけるバッチ処理の前提条件に対する発想の転換について、少し掘り下げた追加説明をさせて頂きます。

現場の通常業務による各種のデータ・オペレーションにより発生する、既存の電子帳簿型システムにおけるデータ変化を、 EqualumのCDCストリーミング技術により「データ駆動型DX基盤」へ即時・低遅延での同期が可能になった場合、従来のデータを再利用出来る形に処理してDWH等に展開する為の バッチ処理は、大きくその存在理由や処理の方向性が変化すると同時に、より最新の各種データ処理環境と密連携をする形に進化出来る 様になります。

Equalumを使った オンタイム・オンデマンドでの「データ駆動型DX基盤」におけるバッチ処理 は、それらの 処理間隔をDXの仕掛けに最適な戦略的時間単位に設定する事が出来る 様になると同時に、基本的に常に現場のデータ状況を 「サイロの壁を越えて統合展開する事が可能」 になります。

また、このデータの即時同期の環境下では、

（1）オンタイム・オンデマンドでのバッチ処理や、各種の高度なデータ処理を実施
（2）現場側を常に直前迄のデータ環境でサポートする事が可能（カスタマー360等）
（3）24時間365日を前提としたデータ運用環境でも、一気通貫なデータ駆動型DXが可能
（4）サイロの壁を越えて、同期先の環境で戦略的な仕掛けを実施可能（リアルタイムDWH）
（5）即時・低遅延でのExactly Onceベースのリモート・レプリケーションが可能

等を手に入れる事が出来るようになります。

時間情報をデータ処理の主人公に帰還させる・・・

多くのデータでは、 エビデンスとしての処理受け付けの時間情報 は、あらゆる局面で重要な役目を持たされているかと思います。基本的に 既存の電子帳簿型システムでは「そもそも・・・現在のDX環境を支えきる仕様で構成されていない」 という現実があり、この既存 仕様の限界がデータ駆動型DXやデータ・ドリブンにおける制限事項 になっているのではないかと感じています。

勿論、それらを回避する目的で編み出されたDWH等のデータ利活用システムも、稼働時間内におけるトランザクション負荷を分離させるという目的は充分果たされている かと思いますが、現実的には 現場業務におけるデータ処理は常に変化している のも事実です。また、企業・団体活動の結果や成果がデータとして明確に規定されるのであれば、「データ利活用の時間軸に可能な限りの制限は設けない」というアプローチ は、特に昨今の機械学習やIoT技術の進化、またそれらを起点にしたAI処理（時系列未来予測など・・）への対応を想定した場合、方法論自体を再考する必要が有る のは自明の理なのではないでしょうか？

データはDWHやクラウド・サーバ室で起きているのではなく
データ現場で時々刻々起きている・・・

何処かで聞いた記憶の有る某映画の名台詞の様ですが、多分これが一番的確に 「データ駆動型DX」を言い表している 気がしています。

データ駆動型DX基盤を分担データシステムで創る・・・

既に既出の動画になりますが、分担データシステムを構成する双方のDB間に対する即時同期設定を、複雑な専門的プログラムを作成する事無くノーコードで実現 して・・・

という処理がサクッと！実現出来る時代になったという事はご理解頂けたかと思います。

更に、この即時・低遅延の同期環境下では、ターゲット側のDBテーブルに対して 「遠慮会釈無く」各種のデータ駆動型DXデータ処理を「オンタイム・オンデマンド仕掛ける」事が出来る 様になりますので,既存オリジナルデータを取り扱う電子帳簿型システムの 「静」と、データ駆動型DX側のデータ・コンピューティング側の 「動」の相反するデータ処理を分担出来る、持続発展可能な新しいコンセプトのデータ環境をシンプルに実現する事が可能になります。

さて次回は・・・

補足作業で延び延びになっていましたが、いよいよ今までの検証内容を総括した一大スペクタクルに挑戦したいと思います。複数回に渡る検証作業と投稿になるかと思いますが、その際は引き続き宜しくお願い致します。

謝辞

本検証は、Equalum社,SingleStore社,insightsoftware社の全面バックアップにより実施しています。この貴重な機会を提供して頂いた3社に対して感謝の意を表すると共に、本内容と各社の公式ホームページで公開されている内容等が異なる場合は、3社の情報が優先する事をご了解ください。

データ駆動型DX基盤を創る
 データ駆動型DX基盤を創る（補足編1）