###はじめに
オリジナルWebアプリを初めて作成するにあたり、あるサイトに掲載された膨大なデータを取得しなくてはならず、
手入力は流石に避けたかった筆者は「Web Scraper」というスクレイピングツールに出会いました。
ここでは、「Web Scraper」公式が提供する練習用サイトを用いて使い方について説明します。
###「Web Scraper」とは？
「Web Scraper」はWebサイト内の情報を取得できるスクレイピングツールで、無償で利用できるGoogleの拡張機能です。
まずはGoogleへインストールをしましょう。
https://chrome.google.com/webstore/detail/web-scraper-free-web-scra/jnhgnonknehpejjnehehllkliplmbmhn?hl=ja
###「Web Scraper」を使って実現したいこと
下記サイトに掲載されている全ての商品の「商品名」、「値段」、「商品説明」などの情報を取得し、取得したデータを文書ファイルに出力します。
こちらは「Web Scraper」公式が提供している練習用のサイトです。
https://www.webscraper.io/test-sites/e-commerce/allinone
サイト上では下図のように商品が掲載されています。
本記事では下記の動画と同じことを行います。
https://www.youtube.com/watch?v=n7fob_XVsbY
###サイトの構造
こちらのサイトは、「Computers」/「Phones」と大きな商品のカテゴリーから、「Laptops」「Tablets」「Touch」と更に細かいカテゴリーに振り分けられています。
「Laptops」「Tablets」「Touch」カテゴリーへ移動すると、下図のように商品の一覧が表示されます。
一覧の中から商品を選択すると、下図のように商品の詳細ページへ遷移します。
それでは商品の情報をスクレイピングしてみましょう。
###①「デベロッパーツール」を開き「Web Scraper」タブを選択
スクレイピングしたいサイトのトップページを開き、右上のメニューから「その他のツール」>「デベロッパーツール」を開きます。
×ボタンの隣にある「デベロッパーツール」の「メニュー」を開き、「デベロッパーツール」を画面下に表示させます。
このように下に表示すると作業がやり易いです。
「デベロッパーツール」上部の「Web Scraper」>「Create new sitemap」>「Create Sitemap」を選択します。
↓ここまでの工程を動画で見たい方はこちら
https://www.webscraper.io/how-to-video/open-web-scraper
###②「Sitemap」を作成
「Sitemap name」に任意の名前を入力します。
小文字（a〜z）、数字（0〜9）、または_、$、（、）、+、 – 、/以外を使うとエラーが起きる可能性があるのでご注意ください。
ここではチュートリアルにならい「ecommerce」とします。
「Start URL」に取得したいサイトのトップページのURLをコピーペーストし、「Create Sitemap」を押します。
すると表示が下記のように変わります。
「_root」は先ほど「Start URL」にコピーペーストしたURLで、ルートディレクトリを指します。
Web ScraperはこのURLを起点にして、スクレイピングします。
↓ここまでの工程を動画で見たい方はこちら
https://www.webscraper.io/how-to-video/create-a-sitemap
###③Selectorを作成
「Add new selector」押します。
「Save selector」ボタンが隠れている場合はデベロッパーツールの表示範囲を広げてください。
Selectorは、Webページ上の要素を識別するものです。
まずは、トップページにある「Computers」/「Phones」カテゴリーをSelectorに設定します。
「id」に英数字で任意の名前を入力します。 ここでは例にならって「category-link」とします。
typeは「Link」を選択します。
「Select」を押します。
「Computers」と「Phones」をShiftキー（Macの場合)を押しながらクリックします。
クリックすると要素は赤色になります。
現在「Computers」と「Phones」の2つ（複数)を選択しているので、「Multiple」にチェックを入れます。
緑色の「Done selecting」を押し、「Save selector」ボタンを押します。
「Date preview」を押して下記のように表示されたら、Selectorは有効になっています。
↓ここまでの工程を動画で見たい方はこちら（③をご覧ください)
https://www.webscraper.io/web-scraper-first-time-install
次に、「Computers」配下の「Laptops」「Tablets」カテゴリーをSelectorに設定します。
先ほど作成したID「category-link」のSelectorを選択します。
遷移先で「Add new selector」押します。
「Select」を押します。
Shiftキー（Macの場合)を押しながら「Laptops」「Tablets」クリックします。
緑色の「Done selecting」を押します。
IDとType、「Multiple」のチェックは以下のようにします。
「Save selector」ボタンを押します。
「Laptops」のページを開くと商品の一覧が表示されます。
今度は商品の詳細ページへのリンクをSelectorに設定しましょう。
前回作成したSelector「subcategory-link」を選択します。
「Add new selector」押します。
「Select」を押し、
Shiftキーを押しながら詳細ページへのリンクを選択します。
「Done selecting」を押し、下図の内容で「Save selector」を押します。
この段階で、サイト内の全てのカテゴリーにおいてSelectorがトップページから商品の詳細画面まで移動できるように設定されました。
それでは商品の詳細ページへ移動します。
いよいよ商品の各データを抽出できるよう「Selecter」に設定していきます。
商品一覧左上の「Asus VivoBook」を開きます。
先ほど作成した「product-link」を選択し「Add new selector」を押します。
下記の内容で商品名を設定した「Selector」を作成します。
id:「name」
Type:「Text」
今回は商品名のみを選択しているので、「Multiple」のチェックを外します。
「Selector」を押し「Asus VivoBook X441NA-GA190」を選択し、「Done selecting」を押します。
選択時、「$295.99」も含まれますが問題ありません。
「Save selector」を押します。
前回までは作成した「Selector」をクリックし、遷移先で「Add new selector」ボタンを押していましたが、
今回は作成した「name」Selectorを選択せずに「Add new selector」ボタンを押します。
次は価格のSelectorを作成します。
id:「price」
Type:「Text」
「Selector」を押し、価格「$295.99」を選択します。
「Done selecting」を押し、「Save selector」を押します。
同じ要領で「商品説明」「画像」のSelectorを追加します。
画像はTypeに「image」を選択します。
「Sitemap ecommerce」の中の「Selector graph」を押すと、構築したSitemapを確認できます。
以下のようなルートを通ってデータが抽出されます。
これで抽出したいデータの指定が完了しました。
##スクレイピング
「Sitemap ecommerce」の中の「Scrape」を押します。
「Start scraping」を押すと、データを抽出するページがポップアップに表示されます。
ポップアップが表示されている間にスクレイピングを行います。
スクレイピングが終了するとポップアップが消えます。
「refresh」を押すとスクレイピング中のデータが一覧で表示されます。
###抽出データの出力
抽出したデータをCSVに出力します。
「Sitemap ecommerce」の中の「Export data as CSV」を押します。
「Download now!」を押すとCSVファイルがダウンロードされます。
CSV編集アプリ「Table Tool」を使用して開きます。
このようにサイトからスクレイピングしたデータが出力されました。
Selector作成時に「id」に入力した名称がカラム名になっています。
長い記事になってしまいましたが、以上が「Web Scraper」の基本的な使い方です。
もっと他のことがしたい！という場合は、以下のサイトをチェックしてみてください。
英語のサイトですが、画面収録された動画でわかりやすく説明されています。
https://www.webscraper.io/how-to-videos
参考
http://sgshonai.tk/tips/376/
https://note.com/hiroyukiyokoyama/n/n8eee7ba4291d
https://www.youtube.com/watch?v=n7fob_XVsbY