PHP
スクレイピング
Web
初心者
Kimono
More than 1 year has passed since last update.


kimonoのサービスは終了したようです

WebスクレイパーサービスKimono LabsがPalantirに買収され、サービスは2月末に閉鎖へ


kimono

さいきん、kimonoを使うことがあったので、ちょっと書いておこうと思います。

(書く意味なんかいらないくらい単純だけど、、、

*続き:kimonoの使い方 クローラーの設定編

スクリーンショット 0027-07-14 2.04.28.png

kimonoはサイトのスクレイピングしたい部分をクリックするだけでスクレイピングしてAPI化してくれるサービスです。

ちなみにボタンクリックだけでまとめサイトを作れるkimonoがすごい

を書いた人にkimonoを教えたのはわたしです。

思ったよりストックされてて悔しいとかじゃないよ(震え声)


kimonoの準備

まずは、kimonoでスクレイピングするための準備。

kimonoは基本的にブラウザから使うことになります。

普段、chromeを使っているのであれば拡張機能(Install the kimono chrome extension)が用意されているので、それを利用すると良いと思います。

他のブラウザであれば、ブックマークレット(Install the kimono bookmarklet)が用意されているので、そちらを使います。

スクリーンショット 0027-07-14 2.40.40.png

わたしは、safariを使っているので、ブックマークレットを使っています。

*機能面などに特に違いはないです。

2015/11/21 追記: 特に違いはないと思っていましたが、chrome拡張版でないとAuth APIの作成が行えないようです。

Auth APIの作成についてはまた別の機会にしようと思います。


kimonoの基本

それでは、kimonoを利用してスクレイピングしてみます。


1.スクレイピングしたいサイトを開く

今回は、qiitaのPHPに関する新着投稿のページにします。

スクリーンショット 0027-07-14 2.57.36.png


2.ブックマークレットを開く

ブックマークレット(chromeなら拡張機能)を開きます。

スクリーンショット_0027-07-14_3_00_35.png

ちゃんと動いていれば、上にkimonoが出てきます。


3.スクレイピングしたい部分を選択する

選択していきます。

スクリーンショット 0027-07-14 4.15.52.png

あとは上部のDoneを押せばスクレイピングは完了です。


4.スクレイピングした結果の取得

Doneを押すと生成されたAPIの管理画面へのURLが表示されます。

そのURLへ行くと以下のような画面になると思います。

スクリーンショット 0027-07-14 3.39.44.png

API DOCSタブを選択します。

a.png

すると、CODE SAMPLESとして、curl, jQuery, PHP, Pythonなどのサンプルコードをみることができます。

結果はJSON形式で受け取ることができます。

今回は、確認なので、curlを使います。

ターミナルにコピペして、、、、

スクリーンショット 0027-07-14 3.57.56.png

スクリーンショット 0027-07-14 4.10.58.png

    /\__/ヽ   ヽ

   /     ::::::::::::::::\ つ

  . |  ,,-‐‐    ‐‐-、  .:::| わ

  |  、
(o),:  _(o),   :::|ぁぁ

.   |    ::<     .::|あぁ

   \  /( [三] )ヽ  ::/ああ

   /`ー‐--‐‐―´\ぁあ

ちなみにDATA PREVIEWタブからもデータが確認できるので、ちゃんとスクレイピングしたか確認したいぐらいならDATA PREVIEWをみると良いです。表示形式もいくつか選べます(excel, json, rss)


おわり

kimonolabsの基礎編でした。

*続き:kimonoの使い方 クローラーの設定編