url="https://rtrp.jp/locations/332/categories/291/?order=retrip_score&page={}"
for i in range(1,6):
target_url=url.format(i)
print(target_url)
res=requests.get(target_url)
soup=BeautifulSoup(res.text,'html.parser')
1ページから5ページの内容を全てスクレイピングするにあたって
print(target_url)の時点で1～5ページのURLは取得できるのですが、
requestsモジュールでは5ページ目の情報しか取得できません。
全頁の取得、解析方法をご教示願います。
ソースコードはマークダウンのコードブロックを使って書いてください。
インデントがなくなっていて、どのインデントレベルで処理しているのか判別できませんので。
以下のコードで全頁取得できているように思えます。
import requests
from bs4 import BeautifulSoup
url = "https://rtrp.jp/locations/332/categories/291/?order=retrip_score&page={}"
for i in range(1,6):
target_url = url.format(i)
print(target_url)
res = requests.get(target_url)
soup = BeautifulSoup(res.text, 'html.parser')
for spot in soup.find_all('h3', class_='spotName'):
print(spot.text.strip())
失礼しました。
url="https://rtrp.jp/locations/332/categories/291/?order=retrip_score&page={}"
for i in range(1,6):
target_url=url.format(i)
print(target_url)
res=requests.get(target_url)
soup=BeautifulSoup(res.text,'html.parser')
以上です。
@takeshi4
Questionerありがとうございます。全タイトルを取得できました。
全URLの取得は可能ですか？？
ありがとうございました。