TROCCOのカスタマーサクセスを担当しております宮崎と申します。
今回は、先日お客様からいただいたお問い合わせに関する内容で、同じような問題でお困りの方の参考になればと思い、この記事を書きました。
お問い合わせ内容 転送元がBoxなどのストレージに配置されているExcelファイルなどのファイル名に日付情報が含まれている場合、その日付をカラムに追加する方法についてです。他のツールのように「ファイル名をカラムに追加するオプション機能」が現時点では提供されていないため、少し工夫が必要です。
今回は、以下の2つの方法を提案します。
①日付データを変数として設定し、ワークフローのループ実行で日付を動的に取得する方法
②ファイル名をカスタム変数として、ワークフロー実行時にファイル名そのものを利用する方法
この記事では、まずBoxからBigQueryへの転送設定を例に、1つ目の方法について説明します。
方法は2つございます。
①日付データを変数設定に、ワークフローのループ実行で日付を動的に取得してくる方法
▪️転送設定の設定
転送設定STEP1
日付を取得するためのカスタム変数を作成します。ファイル名の日付フォーマットに合わせて、日付を正しく取得できるように変数を設定します。ファイルプレフィックスのファイル名に含まれる日付部分に、作成した変数を設定します。
転送設定STEP2
次に、カラム定義で新しいカラムを追加します。日付を格納するカラム名を指定し、デフォルト値に変数を設定します。
出力オプションについて
カラム定義ではデータ型がtimestampとなるため、DATE型でデータを連携したい場合は、出力オプションでDATE型を指定してください。
転送設定での設定は以上となりますので、必要に応じてそのほかの設定を追加いただき転送設定を保存してください。
▪️ワークフローの設定
ワークフローにてループ実行を設定
ワークフローを作成し、転送設定の編集をクリックします。
カスタム変数で「ループ実行」にチェックを入れ、適切な項目を設定します。
- ループの種類：期間（相対指定）
- 対象カスタム変数：作成した変数を選択
- 期間：変数に設定する期間を指定
上記の設定を行うと、実行時に変数へ下記の日付順に設定され実行されます。（実行日2024/10/25）
合致したデータがあれば、カラムに日付が追加されデータ転送されます。
▪️転送後データ確認
BigQueryにデータが正しく転送されたことを、以下のように確認できます。
②については、また別の記事でご紹介します！
最後までお読みいただき、ありがとうございました。この記事がデータ活用の一助となれば幸いです。