【Python】スクレイピングで取得したデータフレームをfor文で連結したい
スクレイピングを行い、取得したいデータフレームをfor文で連結したいと思っています。
①各URLにテーブルがあるので、read_htmlで取得
②付随するデータを取得し、①で取得したデータフレームに連結
③取得したデータフレームをconcatで連結
test_list=url_list[:2]
for url in tqdm(test_list):
try:
driver.get(url)
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
#差枚数以外のデータを取得
data=pd.read_html(url)[0]
data_test=data.drop([1,2,3,4,5,6,7,8,9,10,11,12,13], axis=0)
#台番の取得
no_list=[]
no=soup.find("p",attrs={"class":"unit_no"})
for i in no:
no_list.append(i.string)
data_test["unit_number"]=num_list
#機種名のリスト
name_list=[]
name=soup.find_all("p",attrs={"class":"name"})
for s in name:
name_list.append(s.string)
#機種名をDFに追加する
data_test["unit_name"]=name_list
#ホール名取得
hall=soup.find_all("div",attrs={"class":"store-ttl"})
hall_name_list=[]
for u in hall:
hall_name_list.append(u.string)
data_test["hall_name"]=hall_name_list
time.sleep(3)
for d in len(data_test):
data_test_all=pd.concat([d], axis=1, join_axes=[d.index])
except Exception as e:
print(e)
上記①~③の流れで、取得したデータフレームを連結したいのですが、エラーが出ます。
'int' object is not iterable
どうやらデータフレームをfor文で連結するときに整数型のオブジェクトがあるから
エラーが出ているのですが、どうすればよいでしょうか?