はじめに

Hamee Advent Calendar 2015 14日目の記事です。
ブラウザ画面上からAPIが作れるらしいkimonoを触りたいと思ってました。
これでページデータ取得して、そのデータをプロットしてみます。

対象

記事を評価できる値が取れれば何でも良いので、今回はNeverまとめの各記事のビュー数を見て、ビュー数の傾向を視覚化してみます。
延々と記事のビューが増え続けることもないので、徐々にビューの増加傾向はなまっていく…はず。

カラム	内容
number	記事インデックス（上から1,2,...）
title	記事タイトル
url	記事URL
view_count	ビュー数
c_time	クロール時間

kimonoによるクロール設定

kimonoアカウントを作成したら、目的のページを開いてkimonoをONにしてGETしたい欲しいパラメータを選択。

選択できたらDoneするとAPIが発行されます。kimonoのクロール設定は最短の15分毎に。

この時点で、各言語で作成したAPIを叩くためのDocまで発行されます。
Rもありますが今回はPHPで。定期実行させてDBに突っ込みます。数時間待ってみる。

CrawlHistory

クロール履歴。

DB

時間経過とともに溜まりました。
ページ側の挙動に揺さぶられる部分もあります（同形式の別ページに記事が移動した場合検出しない）。約15分間隔で3日計測し、10回以上のプロットが可能な記事に対してプロットすることにしました。

データのプロット

Rを用いて、格納したデータを整理してplotしてみます。

data_plot.r

# ライブラリ導入
library("DBI")
library("RMySQL")

db_connect = dbConnect(dbDriver("MySQL"), host="host", dbname="dbname", user="user", password="password")

# レコードの取得
query = "SELECT * FROM never_pickup GROUP BY url ORDER BY c_time;"
result = dbGetQuery(db_connect, query)
# 取得が10回以上の記事URLを獲得
query = "SELECT url FROM (SELECT * FROM never_pickup GROUP BY url) pick GROUP BY pick.url HAVING COUNT(url) >= 10 ORDER BY COUNT(url);"
url_list = as.matrix(dbGetQuery(db_connect, query))
news_count = length(url_list)

# 3*3 9件単位でグラフ化
par(mfrow=c(3,3))
for (i in url_list) {
    one_result = subset(result, url==i)

    # 要素の整頓
    c_date = as.matrix(one_result$c_time)
    c_time = as.POSIXlt(c_date)
    view_count = as.matrix(one_result$view_count)

    # プロット
    plot(c_time, view_count)
}

出力例が以下。

もっと踏み込みたかった部分やメモ

kimonoはページネーションリンクがあると複数ページまで対象にできるが、今回の対象ページに設置されていなかったので張れず。ただ、対象をポチポチする段階でタグ指定、出力形式の修正も可能な様子なので、無理すれば今回でも隔ページなAPIを作れたかも
1APIの対象が複数ページに及ぶとオートクロールの制限がそれに比例して厳しくなってしまう。15分単位クロールできるのは今回のような単一ページ対象の場合のみ
徐々にビュー数が減退していくかと思ったが、クロール対象がページTOP20件のみであったため、別ページに移行した際まで継続して検出できていない。ここまで線形な傾向かは怪しい。後続ページまで検出できるともっと見えるかも…
（恐らく）ビュー数の増加傾向は減退していくと考えられるため、モデル方程式などに当てはめて予測できると良さそう。パンデミックモデルのSIRモデルとか。
そうでなくても回帰分析で予測することもできそう。

参考にしたもの

kimonoの使い方基礎編
http://qiita.com/her0m31/items/b844ff74a9d488c9dc81

R言語とMysql
http://qiita.com/pollseed/items/e1abd142eb452c31e720

kimonoでページクロールしてRで傾向をグラフ化する