pythonでスクレピングを千件取得したい
pythonでスクレピングを千件取得したい
ここに解決したい内容を記載してください。
例）
pythonでホテルの宿泊情報を取得しております。
URLを一つしか貼ってないのでホテル一つ分の情報取得のみできます。
千件のホテル情報を取得したいです。構文書いて欲しいです。
URLは、個別ページにより、異なります。
URLを一つしか貼ってないのでホテル一つ分の情報取得のみできます。
url=XXXXX
0
4Answer
以下でどうでしょうか。
# 引数urlで指定したホテルの情報を取得する
def per_hotel(url):
print(url)
#・・・
# 1000個のホテルのURL
urls = '''
https://・・・
https://・・・
https://・・・
https://・・・
https://・・・
'''
# URLの個数分ループして呼び出す
for url in urls.split('\n'):
per_hotel(url)
迷惑行為とならない範囲での利用を前提とします。
2Like
Comments
スクラピングしているリンクを教えてください。
ここではなくて、開発者に案件として発注しましょう。
0Like
スクレイピングは、サイトの管理者に許可を得ているとか、規約に従って専用の API にアクセスしているとかでなければ、迷惑行為になるかもしれないということは認識してますか？
クローラーを作って某図書館サイトにアクセスしたら業務妨害とかで逮捕された事例もありますので、甘く見ない方がいいと思います。
逮捕までいかなくても、被害が深刻な場合は損害賠償の訴訟を受けるかもしれません。
訴訟までいかなくても、アクセス遮断ならWeb サーバーの設定で可能なので、多分に可能性はあると思います。帯域ごと遮断され、あなたのやったことで多数の利用者が巻き添えを喰らうことになるかもしれません。
回答するのは迷惑行為の手助けをすることになるかも。
0Like
robots.txtに則ってクローラー使ってね
0Like