社内のツールやクラウドツールなどからcsv形式のファイルをDLする業務を自動化したい

ツール側で定期DLの仕組みがなくローカルで自動化する必要があるとする
Macの場合はopenコマンドを利用してDLを自動化する方法が便利
以下の手順でやることが多い

openコマンドでcsvファイルをDLできるようにする

1.csvダウンロードのURLを読み解く

URLを調べる

クラウドツールなどで、csvダウンロードのURLが公開されていることが前提
DLボタンを右クリックでパスをコピーなどでわかる事が多い

URLを解析する

だいたい以下のような形式が多い
- https:xxxxxxx｛固定URL1｝/segmentxx{セグメント}/xxxxxxx｛固定URL2｝/yyyymmdd{データ抽出開始日}/xxxxxxx｛固定URL3｝/xx{データの抽出期間}
- この固定のURLと可変のパラメータを見極める

openコマンド用の変数を考える

上記の例でいうと、以下のような変数が考えられる
- 固定URLの変数
  - URL変数1=https:xxxxxxx｛固定URL1｝
  - URL変数2=/xxxxxxx/｛固定URL2｝
  - URL変数3=/xxxxxxx｛固定URL3｝
- 可変パラメーターの変数
  - セグメント=segmentxx{セグメント}
  - データ抽出開始日=yyyymmdd
  - データの抽出期間=xx{データの抽出期間}
この可変パラメーターを自由に変更しつつ、openコマンドで開けるようにする

2.openコマンドで抽出するscript

openコマンドの基本的な使い方

# !/bin/bash

open "https://qiita.com/"

これを、解析したURLの変数を使えるようにする

# !/bin/bash

# 抽出用の変数
## 固定URLの変数
URL変数1=https:xxxxxxx｛固定URL1｝
URL変数2=/xxxxxxx/｛固定URL2｝
URL変数3=/xxxxxxx｛固定URL3｝
## 可変パラメーターの変数
セグメント=segmentxx{セグメント}
データ抽出開始日=yyyymmdd
データの抽出期間=xx{データの抽出期間}

# 抽出用openコマンド
open ""$URL変数1""$セグメント""$URL変数2""$データ抽出開始日""$URL変数3""$データの抽出期間""

さらに、引数で可変パラメーターを指定できるようにする

# !/bin/bash

#########################################
# csvDL用script
# 引数
# 1:セグメント
# 2:データ抽出開始日(yyyymmdd)
# 3:データの抽出期間
# （利用例）sh csv_dl.sh segmentA 2021-7-1 7
#########################################

# 抽出用の変数
## 固定URLの変数
URL変数1=https:xxxxxxx｛固定URL1｝
URL変数2=/xxxxxxx/｛固定URL2｝
URL変数3=/xxxxxxx｛固定URL3｝
## 可変パラメーターの変数
セグメント=$1
データ抽出開始日=$2
データの抽出期間=$3

# 抽出用openコマンド
open ""$URL変数1""$セグメント""$URL変数2""$データ抽出開始日""$URL変数3""$データの抽出期間""

3.DLしたファイルの名前を変更して保存するscript

csvDL系のファイル名はだいたいわかりにくいので一貫性のあるファイル名に変更する
csvDLしたファイルがローカルのdownloadsにおかれる場合を想定
固定のファイル名+セグメント名+データ抽出開始日+データ抽出期間.csvというファイル名にしたい場合

# !/bin/bash
 cd /Users/DIRNAME/Downloads
  text=$(ls -t | head -n 1)
  mv "$text" "ファイル名"$セグメント""$データ抽出開始日""$データの抽出期間".csv"

４．処理を一つにまとめる

# !/bin/bash

#########################################
# csvDL用script
# 引数
# 1:セグメント
# 2:データ抽出開始日(yyyymmdd)
# 3:データの抽出期間
# （利用例）sh csv_dl.sh segmentA 2021-7-1 7
#########################################

# 抽出用の変数
## 固定URLの変数
URL変数1=https:xxxxxxx｛固定URL1｝
URL変数2=/xxxxxxx/｛固定URL2｝
URL変数3=/xxxxxxx｛固定URL3｝
## 可変パラメーターの変数
セグメント=$1
データ抽出開始日=$2
データの抽出期間=$3

# 抽出用openコマンド
open ""$URL変数1""$セグメント""$URL変数2""$データ抽出開始日""$URL変数3""$データの抽出期間""
sleep 10 # ファイルを保存するまでスリープさせる

# ファイル名を変更して保存
cd /Users/DIRNAME/Downloads
text=$(ls -t | head -n 1)
mv "$text" "ファイル名"$セグメント""$データ抽出開始日""$データの抽出期間".csv"

作成したscriptを定期実行できる仕組みつくる

Automatorなどを利用して定期的に叩く仕組みを作成すれば完了！

以上

ひとこと

絶対もっとよい方法ありそうなのと、書き方も拙いので忌憚なきご意見を
世の中のcsvファイルDLの命名規則を統一化してほしい