はじめに
IDMCを利用したプロジェクトの支援において、InformaticaのETLになじみがある方もそうでない方も、IDMCデータ統合のパラメータの利用方法でつまづくケースが少なくありません。今回は、パラメータファイルとパラメータセットについて基本的な内容について、マニュアルの内容を補足して説明します。
パラメータファイルとパラメータセットの基本と使い分け
IDMCのデータ統合では、パラメータを様々な箇所で利用することが出来ます。
そして、パラメータを記載する方法として、パラメータファイルとパラメータセットという概念があります。
- パラメータファイル
- マッピングタスクで使用可能な、複数のパラメータを定義したファイルです。Secure Agentサーバからアクセスできる場所に配置します。
- パラメータセット
- タスクフローで使用可能な、複数のパラメータを定義したものです。マッピングタスクだけではなく、その他のタスクフローにおけるコンポーネントにパラメータを渡すことが可能です。
- ParamSetCliユーティリティを利用して、クラウドのリポジトリにアップロードして利用します。なお、アップロードできるファイルサイズは最大5MBです。
ParamSetCliユーティリティでファイルをアップロードするには次の構文を利用します。
paramsetcli.bat runParamSetCli -un <unique_param_set_name> -pf <parameter_file_name> -pd <parameter_directory> -a <action>
以下に例を示します。
paramsetcli.bat runParamSetCli -un Paramset.params -pf Paramsetfile.params -pd C:\files -a upload
パラメータファイルとパラメータセットのいずれも以下のような形式で、パラメータ名の最初に$$をつけるルールとなっています。
マッピングタスクでは、ランタイムオプション > パラメータファイルの場所 でパラメータファイルを指定します。
また、タスクフローでは開始 > 開始 > パラメータセット でパラメータセットを指定します。
そして、これらのマッピングタスクやタスクフローは、runAJobCliユーティリティを利用してコマンドで実行するのが一般的です。マッピングタスクはパラメータファイル、タスクフローはパラメータセットを引数に指定することで、並列実行を行うことが可能です。
runAjobユーティリティでタスクフローを実行するには、次の構文を利用します。
cli.bat runAJobCli -t TASKFLOW -un <taskflow_name> -fp <folder_path> -pun <unique_param_set_name>
以下に例を示します。
cli.bat runAJobCli -t TASKFLOW -un myTaskflow -fp myproject/folder1 -pun sampleParamSet
runAjobCliユーティリティの引数の詳細は、RunAJob utility argumentsを参照してください。
最後に
あらかじめ複数のパラメータファイルおよびパラメータセットを用意し、使い分けるケースもありますが、複雑な場合はコマンドタスクを利用して動的にそれらを生成、利用、削除するケースもあります。
上記の内容を参考にして、用途に応じて使い分けてください。
参考
Data Integration : Parameter files
Data Integration : Parameter set