バッチ処理では加工したデータをCSVファイルとしてアウトプットするということもあるかと思いますので、テストデータをETL上で作って、それをCSVファイルとして出力する方法をまとめました。
参考になれば幸いです。
テスト用のデータを作成
データ出力に使用する、テスト用のデータ作成を行います。
データグリッドステップを使用することで、好きなデータを手動で作成することができます。
まずは、データグリッドステップを配置します。
次にデータグリッドをダブルクリックして設定を行います。
今回はkey(String)とvar(Number)の2つの列を持つテストデータを作成したいと思います。
まずメタタブ上で、列名と型の設定を行います。
次にデータタブを選択して、keyとvarにデータを設定します。
プレビューを行うと以下のようにデータを確認することができます。
以上で、データグリッドの設定が完了しました。
ソート
varの値で降順にソートしてから出力したいと思いますので、一旦ソートを行います。
行整列ステップを配置して、データグリッドステップとつなげます。
その後、行整列ステップをダブルクリックして設定画面を表示します。
以上で、ソートの設定が完了しました。
プレビュー
ソートまで設定しましたので、一旦ここまでの処理の結果を確認したいと思います。
プレビューしたいステップ上で右クリックしてプレビューを選択することで、実際にそこまでのETL処理を実行した結果の値を確認することができます。
プレビューを選択すると以下のような画面が表示されるので、クイック起動を押下します。
プレビューの結果が表示されます。
ソート処理実行後の結果なので、varの値で降順にソートされていることが確認できます。
プレビュー機能はPDIでETL処理を作成する際には必ず必要になる機能です。
具体的な使い方としては、処理を一つ追加するたびに、追加した処理が正しく動作しているのかをプレビューで確認しながら設定を変更していくイメージとなります。
#CSV出力
最後にソートした結果をCSV形式で出力します。
使用するのはテキストファイル出力ステップです。テキストファイル出力ステップを配置して、行整列ステップとつなげます。
続いて、テキストファイル出力ステップをダブルクリックして設定を行います。
まず、ファイルタブ上で、出力先と出力ファイル名などを設定します。
次に、全般タブで区切り文字や文字コードの設定などを行います。
最後に、フィールドタブで出力する列設定等、フォーマットを設定します。
フィールド取得でフィールド設定を自動設定したあと、必要があれば細かい設定を変更していくと設定が楽だと思います。
以上までで、テスト用のデータを作成、ソートして、CSVファイルで出力する処理が完成しました！
#実行する
最後に作成した処理を実行してファイルが出力されることを確認します。
作成したETL処理を保存して実行します。
実行すると、以下のようにソートされたデータが指定した場所に出力されます。
ここまでで、CSVファイルの出力設定の結果が確認できました。
実際の処理ではもう少し複雑なデータ加工や、出力設定も必要になるかと思いますが、基本的には今回紹介した記事をベースに細かい設定を試しながら変更してくことで処理を作成することができるかと思います。
今後もよく使う処理を中心に記事をアップしていく予定ですが、今日のところは以上です！