WEBサイトをスクレイピングしてAPI化するimport.ioを使ってみた

import.ioとは

• https://www.import.io/
• 海外のツール
• WEBコンテンツをスクレイピングして解析し、CSVなどのデータで取得させてくれる
• APIとしてデータ取得も可能。

利用方法

対象サイトの指定

• 試しにamazonの検索結果を利用
  • http://www.amazon.co.jp/s/ref=nb_sb_noss?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&url=search-alias%3Daps&field-keywords=%E6%A4%85%E5%AD%90
• https://www.import.io/ にアクセスし、窓に解析したい対象URLを入れてtry it outを押すだけ
  

データの分析

• tyr it outが押されるとWEBページが解析され、それがテーブル形式で表示される。
• Save Extractorでデータを保存
  

データの追加

• 不要なカラムの削除だけでなく、WEBサイト上の要素を指定してカラムを増やすことも可能。
• Add columnを押す
  
• 解析対象のサイトが表示されるので追加したい要素を選択する
  
• 右のウィンドウに指定した要素が絡む情報として表示される
  
• カラムを保存すると元のテーブルに追加されている。
  

データの更新タイミングの指定

• 管理画面でデイリー、ウィークリー、マンスリーの単位で自動データ更新の頻度を指定可能
  

APIによるデータ取得

• Integrateタブを押すとAPIのURLが表示される。
• APIの結果はJSONで返却される。
  

感想

• だいぶ簡単に、ポチポチするだけ少なくともamazonの検索結果で欲しい情報は取得可能
• amazonの検索結果ならamazonから提供されているAPIの方が当然利便性は高い
• APIを提供していないコンテンツの情報取得なら非常に便利。
  • ただしデイリー以上の更新はされないので情報更新の頻度が激しいコンテンツには不向き。
• 無料版ではどうやら扱えるデータ量に限界があるらしい。デイリーで使ったらすぐ限界を迎える可能性あり。