Edited at

WEBサイトをスクレイピングしてAPI化するimport.ioを使ってみた

More than 3 years have passed since last update.


import.ioとは


  • https://www.import.io/

  • 海外のツール

  • WEBコンテンツをスクレイピングして解析し、CSVなどのデータで取得させてくれる

  • APIとしてデータ取得も可能。


利用方法


対象サイトの指定


データの分析


  • tyr it outが押されるとWEBページが解析され、それがテーブル形式で表示される。

  • Save Extractorでデータを保存
    import.io_002.png


データの追加


  • 不要なカラムの削除だけでなく、WEBサイト上の要素を指定してカラムを増やすことも可能。

  • Add columnを押す
    import.io_007.png

  • 解析対象のサイトが表示されるので追加したい要素を選択する
    import.io_008.png

  • 右のウィンドウに指定した要素が絡む情報として表示される
    import.io_009.png

  • カラムを保存すると元のテーブルに追加されている。
    import.io_010.png


データの更新タイミングの指定


  • 管理画面でデイリー、ウィークリー、マンスリーの単位で自動データ更新の頻度を指定可能
    import.io_003.png


APIによるデータ取得


  • Integrateタブを押すとAPIのURLが表示される。

  • APIの結果はJSONで返却される。
    スクリーンショット 2016-05-07 2.21.44.png

スクリーンショット 2016-05-07 2.22.10.png


感想


  • だいぶ簡単に、ポチポチするだけ少なくともamazonの検索結果で欲しい情報は取得可能

  • amazonの検索結果ならamazonから提供されているAPIの方が当然利便性は高い

  • APIを提供していないコンテンツの情報取得なら非常に便利。


    • ただしデイリー以上の更新はされないので情報更新の頻度が激しいコンテンツには不向き。



  • 無料版ではどうやら扱えるデータ量に限界があるらしい。デイリーで使ったらすぐ限界を迎える可能性あり。