#概要
Pythonでのスクレイピングにより、競合など他社サイトに掲載されている商品データを収集し、
マーケティング・競合分析への活用のため、CSVファイルにまとめ、出力します
#対象ページ
スクレイピング対象は、以下のようなページです
- インテリアのECサイト
- チェア：カテゴリの商品一覧ページ
##対象データ
今回は、先述のページから
- 商品名
- 価格
- レビュー｜評価値
- レビュー｜投稿数
以上 4つの情報を、チェア：カテゴリの全商品分、取得します
#注意
- 記事内の「Webサイト／URL／データ」は全てダミーです
- 記事内のコードで、実際にスクレイピングする事は可能ですが、実在のサイトに対するスクレイピングは、サーバー負担への配慮、著作権／利用規約の十分な確認等が必要となります
#対象分析
対象から利用制限が指定されていないか、対象ページの構造はどうなっているか、等を分析／確認していきます
##利用制限
人様のサイトからデータを取得するにあたり、まずはそのサイトの「著作権／利用規約ページ」をしっかり確認した上で、以下のコードでアクセスに対する制限を確認
. . . . .
クローリングへの指示書である「robots.txt」解析のためのモジュールurllib.robotparserをインポート
import urllib.robotparser
rp = urllib.robotparser.RobotFileParser()
robots.txtの読み込み
rp.set_url("https://demo-store.com/robots.txt")
rp.read()
request_rateで、クローラーに対し遅延時間が指定されていないかの確認
req_rate = rp.request_rate("*")
print(req_rate)
None
遅延時間の指定は無し。とはいえ、相手サーバー負荷への配慮として、ロード遅延処理は必須
. . . . .
can_fetchでURLの取得が許可されているかを確認
rp.can_fetch("*", "https://demo-store.com/")
True
Trueが返され、URL取得の許可が確認できました
##ページ構造
Chrome｜デベロッパーツールを用い、対象ページの構造を確認
1商品ごとにpd_boxというクラス名のパーツで囲われ、
その中に今回取得したい4つの商品情報が入っており、それぞれ以下のようにクラス名が付けられています
| 情報 | クラス名 |
|---|---|
| 商品名 | pd_name |
| 価格 | pd_price |
| レビュー：投稿数 | rev_count |
| レビュー：評価値 | rev_rate |
##URLの規則性
対象ページのURLは以下（※ ダミーURLです）
https://demo-store.com/living/chair/?page=1
また、この「チェア：カテゴリ｜商品一覧」は、全10ページで
10ページ目のURLはhttps://demo-store.com/living/chair/?page=10となっており、
?page=XXの箇所が、現在のページ数を表しているという事が分かりました
以上を踏まえ、スクレイピング実行のコードを考えていきます
#データ取得
実際にブラウザを起動・サイトを描画しながらスクレイピングする手法もありますが、今回はヘッダレスブラウザを用い、画面描写無しでサッサとスクレイピングしていきます
. . . . .
Selenium｜Chromeブラウザをインポート
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.keys import Keys
--headlessでオプション：ヘッドレスモードを有効化
options = ChromeOptions()
options.add_argument('--headless')
ChromeのWebDriverオブジェクトを作成
browser = Chrome(options=options)
後に商品情報を格納していく、空のリストを作成
names = []
prices = []
rev_rates = []
rev_counts = []
今回の対象は「商品一覧：10ページ分」つまり
https://demo-store.com/living/chair/?page=1から
https://demo-store.com/living/chair/?page=10までが対象です
よって?page={}として、ページ数箇所を変数とし、format(i)で変数箇所にiを埋め込みます
iにはfor文で1から10までの数字を順に当てはめていきます
for i in range(1,11):
url = 'https://demo-store.com/living/chair/?page={}'.format(i)
ややこしいですがrange(1,11)で、1から10までの数字が入ることになります
. . . . .
相手サーバーへの負荷配慮としてimplicitly_waitでロードの際に3秒の間隔が空くように設定
browser.implicitly_wait(3)
「?page={}箇所に連番が入ったURL」を取得
browser.get(url)
一覧ページでは、商品ごとにpd_boxで囲われていました
その中に、それぞれの商品名（pd_name）や価格（pd_price）が含まれている
よってpd_boxの中身を探し終えたら、次のpd_boxの中身を探し始める、という内容のfor文とします
find_elements_by_class_nameで指定したクラス名の要素を取得し、リストとしてpd_boxesに格納
pd_boxes = browser.find_elements_by_class_name('pd_box')
pd_box1つあたりに対し、「pd_name／pd_price／rev_rate／rev_count」を探し、取得し、それぞれリストとして格納していく。完了したら次のpd_boxに対し同様の処理を行っていく
for pd_box in pd_boxes:
name = pd_box.find_element_by_class_name('pd_name').text
names.append(name)
price = pd_box.find_element_by_class_name('pd_price').text
price = price.replace("¥","").replace(",","")
prices.append(price)
rev_rate = pd_box.find_element_by_class_name('rev_rate').text
rev_rates.append(rev_rate)
rev_count = pd_box.find_element_by_class_name('rev_count').text
rev_count = rev_count.replace("(","").replace("件)","")
rev_counts.append(rev_count)
名前や価格を取得しつつ、「¥」や「件」などの不要文字列はreplaceにより削除しています
. . . . .
取得したデータを確認
names
['Ultra Chair','Super Chair','Hyper Chair'...]
prices
['10000','20000','30000'...]
rev_rates
['5','5','5'...]
rev_counts
['26','36','46'...]
ちゃんとデータ取得できています
#CSV出力
取得したデータは現時点では個々のリストになっているので、データフレームとしてまとめます
import pandas as pd
df = pd.DataFrame()
リスト毎に列を作成
df['name'] = names
df['price'] = prices
df['rev_rate'] = rev_rates
df['rev_count'] = rev_counts
内容確認のため、データフレームの上から5行目までを表示
df.head()
|| name | price | rev_rate | rev_count |
|:--|:--|:--|--:|--:|--:|
1| Ultra Chair | 10000 | 5 | 26 |
2| Super Chair | 20000 | 5 | 36 |
3| Hyper Chair | 30000 | 5 | 46 |
4| Miracle Chair | 40000 | 5 | 56 |
5| Passion Chair | 50000 | 5 | 66 |
問題無くデータフレームになっているので、CSVファイルに変換します
df.to_csv('living_chair.csv', index=False)
CSVファイルが出力されました
#総括
他社サイトの商品情報をスクレイピングで収集し、CSVファイルにまとめました
- 各商品のレビュー投稿数を、販売数とある程度の相関があると仮定し、販売数予測の目安とする
- 価格帯ごとのレビュー評価（満足度）を分析する
など、競合分析において活用のできる、データファイルが取得できたかと考えます