目的

Talendでジョブを作成〜実行までの流れを大雑把に把握したい。

Talendとは

ETL製品で様々なデータを統合・連携するためのツールを提供しています。
Talend Open StudioというGUIベースのツールでデータ連携などのジョブを作成できます。
作成したジョブはJavaアプリのためJVM上で実行可能です。

参考：https://www.talend.com/jp/

ジョブ作成から実行までの流れ

以下の処理を行うジョブを作成する前提で記載していきます。　※使用ツールは無償版です。

クラウドサービスからCSVを取得
CSVのデータを加工
加工済みデータをDBに登録

全体の流れ

ローカル環境でジョブを作成し、作成したジョブを実行したい環境に配置します。

ジョブの作成

GUIベースでジョブの作成ができます。
eclipseをベースにしているので開発者にとっては馴染みやすそうです。
※GUIのイメージはこちらの記事をどうぞ

クラウドサービス(AWSなど)やDBへの接続情報をGUI上で設定できます。
設定用のコンポーネント(部品)もTalend側でいくつか用意されているのでスムーズに設定が可能です。

外部で作成した処理(jarファイル)を取り込むこともできます。
マッピングなどの単純な処理はTalend上で作成し、
複雑な処理などは他の環境・ツールで作成したjarファイルを取り込むことで、
Talend上で作成しなくて済みます。

ローカル環境でもジョブの実行ができます。
開発環境として動作検証などに利用することもできます。

作成したジョブをjar形式で出力できます。
ジョブの配置でも説明しますが、jarが読み込める環境であればどこでも起動させることができます。

ジョブの配置

実行環境の必須条件
サーバ上にJVMが導入されていること。
クラウドサービスやDBなどにアクセスできるネットワークに所属していること。

実行方法
ジョブ管理ツールに配置したjarファイルを読み込ませることでスケジュール起動やログ監視などが可能です。
クラウドサービス(AWSのLambdaなど)上に配置することでもジョブの実行が可能です。
また、cronやタスクスケジューラから直接プログラム(jar)を叩くこともできなくはないです。（非推奨）

Talend有償版

有償版のTalendだと以下2つの環境が提供されるそうです。

運用管理サーバ
複数人でのジョブ作成の管理・同期を行えます。
また、無償版では手動で行っていたジョブ実行サーバへのジョブの配置・展開やスケジューリングを
運用管理サーバを通じて実施することができます。

ジョブ実行サーバ
ジョブ実行サーバが複数台提供されるため、ジョブの並列実行を行えます。
更に仮想化することでロードバランシングや自動フェールオーバなども可能になります。

まとめ

ジョブ作成〜実行までの大雑把な流れは把握できたかと思います。

ジョブ作成後の流れはeclipseでJAVAのプログラムを作成する時と同じなので、
開発者であればイメージはしやすいかと。

既存でジョブ管理ツールを導入していれば、そこに相乗りさせるのもありかと。

参考

https://www.gixo.jp/blog/6667/