TROCCO®のHTTPコネクタを活用して気象データをBigQueryに転送する

Posted at 2024-06-13

はじめに

気象データは日常生活だけでなく、あらゆるビジネスシーンでの活用が見込まれます。
以下は気象データを活用したビジネスシーンの一例になります。

無償の気象データを使う場合、気象庁のwebページからではまとまったデータを取るのが難しいです。
一方、過去7日分の気象庁のデータであれば、CSVで取得することができます。

今回はSaaSのTROCCO®を使って過去7日分の気象庁のデータをBigQueryに転送する方法を紹介します。

今回は気象庁が発布している「最新の気象データ」を使用します。

CSVでダウンロード可能な気象現象は以下の表のとおりです。

なお、降雪に関しては11月から5月の冬季間のみデータ取得が可能になります。

各気象現象のデータの仕様については下記リンクから確認してください。
参考までに最低気温のデータの仕様を添付します。

また、気象現象ごとに以下3つの情報がデータとして取得可能です。

更新頻度は下記の表の通りです。

TROCCO®アカウントの作成をお願いします。
TROCCO®には無料で始められるフリープランがあります。

TROCCO®にログインし、転送設定の新規作成に進みます。
転送元 : HTTP・HTTPS
転送先 : BigQuery
を選択します。

転送元のURLは取得データによって、可変となる場所が存在し、その場所をパラメーターとして定義します。パラメーターの設定には、TROCCO®のカスタム変数機能を活用します。

TROCCO®の転送元設定画面で、以下のようにフォームを埋めていきます。

設定項目名	設定内容
URL	`https://www.data.jma.go.jp/stats/data/mdrr/{weather1}/alltable/{weather2}{date}.csv`
HTTPメソッド	GET
パラメーター	`weather1` / `weather2` / `date`
ファイル入力形式	CSV / TSV
文字エンコーディング	Shift_JIS

URLの可変の場所については、以下の点に留意する必要があります。

weather1 weather2は気象現象を表す文字列が入るため、取得したいデータによって異なります。

またdateに関しても、取得したいデータによって表示形式が異なります。

参考までに、2日前の最低気温のデータを転送する例を添付します。

転送先設定にて、BigQuery側のプロジェクト、データセット、スキーマを設定していきます。

STEP2の画面に進むと、取得データのプレビューを確認することができます。

BigQuery転送時、カラム名に関して注意が必要です。
元データのCSVには、()や℃といった文字がカラム名に含まれています。

BigQueryでは扱えない文字列のため、詳細設定のカラム名で該当文字を_やCに変更が必要になります。今回は元データのCSVで利用されている和名でカラム名を記載しています。

また、データを継続的に蓄積する場合も、カラム名に注意を払う必要があります。

元データのカラム名が日によって異なります。例えば、2024年6月2日のデータでは、その日の最低気温を表すカラムは[2日の最低気温(℃)]という名前で格納されています。

同じテーブルにデータを蓄積する場合は、STEP2で「当日の最低気温_C」といったカラム名に書き換えることを推奨します。

カラム名変更後、データ型などは自動設定のままで問題ないので、確認・保存と進みます。転送実行後、プレビュー画面で、実際にBigQueryにデータが入っていることを確認できました。

過去７日分の気象庁のデータを取得し、簡単にBigQueryへ転送することができました。

気象データを継続的に蓄積していくことで、様々なビジネスシーンでの活用に繋がります。
今回のようにGUIのみでデータを整備できると、エンジニアに限らず多くの方でも気象データの活用を進めることができます。
是非やってみてください！