LoginSignup

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

pythonでスクレピングを千件取得したい

pythonでスクレピングを千件取得したい

ここに解決したい内容を記載してください。

例)
pythonでホテルの宿泊情報を取得しております。
URLを一つしか貼ってないのでホテル一つ分の情報取得のみできます。
千件のホテル情報を取得したいです。構文書いて欲しいです。
URLは、個別ページにより、異なります。

URLを一つしか貼ってないのでホテル一つ分の情報取得のみできます。

url=XXXXX
0

4Answer

以下でどうでしょうか。


# 引数urlで指定したホテルの情報を取得する
def per_hotel(url):
	print(url)
	#・・・


# 1000個のホテルのURL
urls = '''
https://・・・
https://・・・
https://・・・
https://・・・
https://・・・
'''

# URLの個数分ループして呼び出す
for url in urls.split('\n'):
	per_hotel(url)

迷惑行為とならない範囲での利用を前提とします。

2

Comments

  1. スクラピングしているリンクを教えてください。

スクレイピングは、サイトの管理者に許可を得ているとか、規約に従って専用の API にアクセスしているとかでなければ、迷惑行為になるかもしれないということは認識してますか?

クローラーを作って某図書館サイトにアクセスしたら業務妨害とかで逮捕された事例もありますので、甘く見ない方がいいと思います。

逮捕までいかなくても、被害が深刻な場合は損害賠償の訴訟を受けるかもしれません。

訴訟までいかなくても、アクセス遮断ならWeb サーバーの設定で可能なので、多分に可能性はあると思います。帯域ごと遮断され、あなたのやったことで多数の利用者が巻き添えを喰らうことになるかもしれません。

回答するのは迷惑行為の手助けをすることになるかも。

0

Your answer might help someone💌