0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

EqualumのFS機能を試す!(検証編1)

Posted at

####前回の投稿で、何とか無事に環境と道具は揃いましたので、今回から本題のEqualumのファイルシステム機能を検証していくことにします。基本的な手順や作業は以前のEqualum検証と同じですので、宜しければ以前の投稿を参考にして頂ければと思います。

##取り急ぎFSが使えるようにEqualumを設定します
Equalumのダッシュボード上でSOURCES部分にある**+ADD**ボタンを選択します。

スクリーンショット 2021-12-12 9.18.35.png

メニューからFilesを選択します。

スクリーンショット 2021-12-12 9.18.57.png

以前のEqualum検証と同じ様に必要事項を設定していきます。

スクリーンショット 2021-12-12 9.19.07.png

Agent Locationは選択可能なプルダウンメニューが出てきますので適宜選択します。

スクリーンショット 2021-12-12 11.24.09.png

基本的にデータソースとしてファイルシステムが利用出来る事前準備はこれで終了です。

スクリーンショット 2021-12-12 9.20.11.png

##イベントストリームが使えるように情報を設定する
次に、どのディレクトリを利用するか等の設定を行います。
先程のダッシュボード上で**+ADD**ボタンを選択します。

スクリーンショット 2021-12-12 9.21.54.png

必要事項を設定します。Full Path to file Directoryには準備編で設定した情報を設定します。最後の**/**を忘れるとエラーで叱られますので注意が必要です。

スクリーンショット 2021-12-12 9.23.22.png

##EqualumのノーコードFLOWを作成する
以前の検証と同じ様にEqualumが指定されたディレクトリにCSVファイルの到着を起点にFLOW処理を行う検証を行います。

基本的には、同じ作業を順番に行えば問題無くストリーミングFLOWが動きますので、今回はCSV特有の事前処理の部分だけ追記の形で書かせて頂きました。

スクリーンショット 2021-12-12 9.23.48.png

FLOWSにある**+ADD**ボタンを選択しGUIエディタに入ります。

スクリーンショット 2021-12-12 9.24.05.png

メニューからEvent Streamを選択して先程設定した情報を選択します。

スクリーンショット 2021-12-12 11.37.11.png

最初にCSVファイルの情報をデータベースで使える様に、必要なカラム属性の確認と設定をGUI上で行います。

・・とは言っても、作業自体は非常に簡単で・・Transformを先程のEvent Streamに接続します。

スクリーンショット 2021-12-12 11.39.03.png

初期の段階では、CSV側の情報を文字列として認識しますので、ここで必要な型変換を行っておきます。

スクリーンショット 2021-12-12 9.25.09.png

作業は必要なカラム名をダブルクリックして中央に選択されたカラム名に続いて**::xxxxxx**と属性を書いていきます。

スクリーンショット 2021-12-12 9.25.28.png

スクリーンショット 2021-12-12 9.25.51.png

この作業を最初に行う事で、以降のFLOWデザインにおいて各カラム情報は、以前の検証と同様に利用する事が出来る様になります。

因みに・・・今回作成したCSVファイル・ストリーミング処理はこんな感じになります。

スクリーンショット 2021-12-12 9.33.40.png

後は、名前を付けてセーブしてシステム上に展開し、通常の手順で起動すればOKです。

##今回のまとめ
今回は、Equalumを実際に使ってCSVファイルを使用したファイルシステム機能の検証・前半戦を書かせて頂きました。

ポイント的には、CSV等の文字列ファイルを読み込む場合に、忘れずに必要な属性の変更(キャスト)作業を行う事・・という作業を忘れない様に実施しておく・・・という部分になります。

次回は、実際にPythonで作成したツールを動かし、架空の物販データを流してCSVファイル生成、転送、Equalumのストリーミング処理・・・の流れを検証したいと思います。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?