pythonの学習記録をつけてみようと思い、Qittaを始めてみました。
仕事は非IT企業なので、、pythonは本当に趣味・・・というか、興味本位で学習しています。
今は、食品衛生に関わる仕事をしているので、pythonを使って何か出来ないかな〜と思い、食品のリコール情報をデータ分析してみよう！と思い立ちました。
その第一段階として、スクレイピングで食品リコール情報のデータフレームを作ってみました。データの元はリコールプラスというサイト。
food_recall_info.py
from bs4 import BeautifulSoup
import requests
import re
import csv
import time
import pandas as pd
def recalls(url):
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
recall_soup = soup.findAll("tr",{"class":{"return","info","apology"}})
campany_list = []
recall_list = []
action_list = []
recall_date = []
for j in range(len(recall_soup)):
#会社名を取得
campany_list.append(recall_soup[j].find("a", href=re.compile("/company/*")).get_text())
#リコール内容
recall_list.append(recall_soup[j].find("a", {"style":"float:left"}).get_text())
#対応方法
keyword = re.compile(r'回収|回収＆返金|回収＆返金/交換|回収＆交換|返金|交換|点検＆交換|お知らせ|景品表示法違反|お詫び|返金/交換|送付')
action_list.append(re.search(keyword, str(recall_soup[j])).group())
#発生日
recall_date.append(recall_soup[j].find("td", {"class":"day"}).get_text().replace("\n ","20"))
return campany_list,recall_list,action_list,recall_date
campany_lists = []
recall_lists = []
action_lists = []
recall_dates = []
for i in range(1,20):
resl = recalls("https://www.recall-plus.jp/category/1?page={}".format(i))
campany_lists.extend(resl[0])
recall_lists.extend(resl[1])
action_lists.extend(resl[2])
recall_dates.extend(resl[3])
recall_df = pd.DataFrame({'会社名':campany_lists,'リコール内容':recall_lists,'対応':action_lists,'発生日':recall_dates})
実行結果
recall_df.head()
会社名 リコール内容 対応 発生日
0 神戸物産 業務スーパー ほしいもスティック一部商品に樹脂片の混入 回収 2020/03/17
1 丸文 丸文 国産大豆使用よせ豆腐 消費期限誤表示 回収 2020/03/17
2 イオン常陸大宮店... 豚肉ロース味付トンテキ用 アレルゲン(乳)表示欠落 お詫び 2020/03/18
3 ツルヤ 軽井沢店 おいしい白身魚ﾌﾗｲ ｱﾚﾙｹﾞﾝ乳成分表示欠落 回収 2020/03/16
4 畑中鯉屋 畑中鯉屋 鯉甘煮 アレルゲン「小麦」の表示欠落 回収 2020/03/13
見た目上は、pandasのデータフレームに収納出来た・・・と思います。
はじめは、データフレームにその都度上場を書き込もうかと思ったけれど、やり方がわからずに断念。一先ず、それぞれの列のリストを作ってから、pandasに取り込む格好にしてみました。
ど素人なので、なんかの一つ覚えではじめはappend()で値を追加していました。しかし、それだとリスト形式で追加されてしまい、うまくpandasに取り込めませんでした。
色々調べてみると、リストの中の値だけを追加するには、extend()を使えばよいと分かりました。
一つ勉強になりました。
無事データも作れたので、データ分析をしてみたいと考えています。
今このデータで、分析出来そうな事は、
①リコールが起きた時の回収や返品の割合
②リコールが起きやすい時期はあるのか？
でしょうか。
色々試行錯誤してみたいと思います。