データカタログ横断検索システムの検索結果からdimでデータを取得する

TL;DR

内閣府「戦略的イノベーション創造プログラム(SIP)第2期」の2021年度の成果としてデータカタログ横断検索システム ¹というサイトが公開されている。今回はこの検索結果のjsonを参照してCSVデータを引っ張りdimに登録する。

準備

• dimのインストール
• dim init

検索

データカタログ横断検索システムから必要なデータを検索する。

1. データカタログ横断検索システム https://search.ckan.jp/ を開く。
2. 検索を実行する。
   
3. xckan_idを記録する。これがデータセットのキーとなる。
   

データの取得と登録

記録したxckan_idを用いてbashで以下を実行するとdim installが実行される。(行頭の変数xckan_idを適宜変更する)

$ xckan_id=www.geospatial.jp__ckan__dataset:22130-018; curl -s https://search.ckan.jp/backend/api/package_show?id=${xckan_id} | jq -r '.result.resources[] | .url + ";" + .name' | grep '.csv;' | while IFS=';' read u n; do exec dim install ${u} -n ${n} ; done;
Installed to ./data_files/www.geospatial.jp/ckan/dataset/ef28eb70-bd49-40ef-bcc7-ce3642749688/resource/119dc3ea-ace2-43df-b127-54752339a07b/download/parkrejya.csv

確認

dim listでデータを確認する。

$ dim list
公園・レジャー
  - URL       : https://www.geospatial.jp/ckan/dataset/ef28eb70-bd49-40ef-bcc7-ce3642749688/resource/119dc3ea-ace2-43df-b127-54752339a07b/download/parkrejya.csv
  - Name      : 公園・レジャー
  - File path : ./data_files/www.geospatial.jp/ckan/dataset/ef28eb70-bd49-40ef-bcc7-ce3642749688/resource/119dc3ea-ace2-43df-b127-54752339a07b/download/parkrejya.csv
  - Preprocess:

1. 国立情報学研究所プレスリリース(2022/2/28)「内閣府『戦略的イノベーション創造プログラム(SIP)第2期』における『ビッグデータ・AIを活用したサイバー空間基盤技術』の研究開発において分散型の分野間データ連携基盤技術を開発し、社会実装に向けて実証を開始」 https://www.nii.ac.jp/news/release/2022/0228.html ↩