Google Apps Script + Google スプレッドシートで Qiita 記事のいいね数・はてなブックマーク数を時系列でスクレイピングし可視化する #GoogleAppsScript

はじめに

最近スクレイピングについて勉強しています。

この記事では、Google Apps Script + Google スプレッドシートを組み合わせで、Qiita 記事のいいね数・はてなブックマーク数をスクレイピングし、時系列で取得・可視化することを試してみました。

tl;dr

Google Apps Script + Google スプレッドシートのスクレイピングは気軽に始めやすい
時系列データをスクレイピングで作り、可視化するのは面白い

スクレイピングを試すまでの背景

Google Apps Script + Google スプレッドシートでのスクレイピングに出会う

スクレイピングを勉強するにあたり、Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例という本を執筆された佐々木拓郎さんの著書、データを集める技術を読んでいました。

こちらの本には、企業情報、株価情報、Amazonの新刊情報、商品の口コミデータといったデータを、Excel や IFTTT などを用いた手法で取得する方法が書かれています。内容も簡易で読みやすかったです。

その中で、Google App Script + Google スプレッドシートの組み合わせでスクレイピングする方法が紹介されていました。これは面白そうと思い、調べ始めました。

Google Apps Script + Google スプレッドシートでのスクレイピングのメリット

以下の記事で、メリットをまとめてくださっています。

Google Apps Scriptでスクレイピングが捗る5つの理由|Review of My Life

個人的には以下のメリットが大きいと考えています。手軽にスクレイピングを始めるにはうってつけではないでしょうか。

環境構築・サーバ管理が不要
学習コストが低い
定期実行設定も簡単

スクレイピングでやってみたかったこと

スクレイピングを試すにあたり、以下のようなことをやってみたいなと考えていました。

サーバ管理なしのスクレイピングを体感したい
数値データを HTML ファイルからスクレイピングして抽出したい
スクレイピングを定期実行し、時系列にデータをまとめたい

スクレイピングの題材に出会うまで

このように、Google Apps Script + Google スプレッドシートでのスクレイピングのメリット・やってみたいことは見えてきたのですが、なかなかピンとくる題材が見つかりませんでした。

そんな中、ちょうど最近書いた Qiita 記事で Qiita トレンド入り・はてなブックマークのテクノロジー新着エントリ入りという、バズるという現象を体験させていただきました。（読んでくださった皆さんありがとうございました）

OSS コントリビュートをなかなか始められなかった頃の自分に伝えたいこと - Qiita

予想以上の反響に面食らっていたのですが、その時ふと「バズった Qiita 記事は、時系列で見るとどのように Qiita いいね数やはてなブックマーク数が伸びていくのだろう？」という素朴な疑問が湧きました。

その疑問を解消することが、ちょうど Google Apps Script + Google スプレッドシートでのスクレイピングの題材になるなと思い、自分の記事を題材にスクレイピングを試すことにしました。

とはいえ、思い立ったのがバズるという現象が起こった後だったので、なるべく早くデータが取れる状態にすべく、 ASAP でスクレイピングの準備を進めていきました。

スクレイピングの実施

ここからは実施したスクレイピングについてまとめます。

概要

今回は、Qiitaいいね数・はてなブックマーク数をそれぞれ1分おきにスクレイピングし、Google スプレッドシートに時系列の数値データとして蓄積させていくことを試しました。

注意事項

今回のスクレイピングは1記事に対し1分おきでの実行なのでそこまで負荷は高くない想定ですが、複数記事に大量のリクエストをかけるとスクレイピング対象のサイトに負荷をかけ、迷惑になる可能性があります。

実施する際はスクレイピングの負荷に関して確認してから実施するようご注意ください。

実施手順

Google スプレッドシート新規作成

まず、Google スプレッドシートを新規作成します。

Google App Script スクリプトエディタ起動

次に、Google スプレッドシートの [ツール] - [スクリプトエディタ] から、Google Apps Script のスクリプトエディタを開きます。途中、権限許可の設定が表示されたら、許可しましょう。

Google Apps Script スクリプト作成

スクリプトエディタで Google Apps Script スクリプトを作成します。

以下のような簡単なスクリプトを作りました。

コード.gs

function myFunction() {
  const formattedDate = Utilities.formatDate(new Date(), "JST", "yyyy-MM-dd HH:mm:ss");

  const qiitaUrl = "https://qiita.com/gotchane/items/XXXXXXXXXXXXXXXXXXXX";  
  const qiitaRegExp = /<a class="it-Actions_likeCount" href=".*">(\d+)<\/a>/;
  const qiitaLikes = getNumber(qiitaUrl, qiitaRegExp);

  const hatenaUrl = "http://b.hatena.ne.jp/entry/s/qiita.com/gotchane/items/XXXXXXXXXXXXXXXXXXXX";  
  const hatenaRegExp = /<span class="entry-info-users"><a href=""><span>(\d+)<\/span> users<\/a><\/span>/;
  const hatenaBookmarks = getNumber(hatenaUrl, hatenaRegExp);

  const ss = SpreadsheetApp.openByUrl('https://docs.google.com/spreadsheets/d/XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX/edit');
  const sheet1 = ss.getSheetByName("シート1");
  const lastRow = sheet1.getLastRow();
  sheet1.getRange(lastRow + 1, 1).setValue(formattedDate);
  sheet1.getRange(lastRow + 1, 2).setValue(qiitaLikes);
  sheet1.getRange(lastRow + 1, 3).setValue(hatenaBookmarks);
}

function getNumber(url, regExp) {
  const content = UrlFetchApp.fetch(url).getContentText("UTF-8");  
  const matchArray = content.match(regExp);
  return matchArray[1];
}