https://www .nespresso.com/jp/ja/order/capsules/original
↑(アクセスログが残って対策されてしまうとまずいので、リンクで飛ばないようにwwwの後にスペースを入れています)
上記ページの情報一覧を取得したいと考えていますが、seleniumを使ったコードからは、
うまくページがレンダリングできません。リンクもクリックすると、通常のブラウザの
挙動とは異なり、Access Denied となってしまいます。
これらのレンダリングが正しく行えるようにし、画像やタイトル、リンク先の情報を取得したいです。
画像やページが途中までは読み込めているが、途中から読み込まれなくなる。
from selenium import webdriver
# brew install --cask chromedriver
browser = webdriver.Chrome() # Mac
options = webdriver.ChromeOptions()
options.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36') #追加
browser.implicitly_wait(5)
url = "https://www.nespresso.com/jp/ja/order/capsules/original"
browser.get(url)
time.sleep(10)
urllib.request+beautifulsoap4でも試していましたが、こちらもuser-agentを指定すると、なぜか返答が戻ってきませんでした。
作った options をブラウザに渡していないせいで User Agent が変わっていないからだと思います。以下のように渡してください。
options = webdriver.ChromeOptions()
options.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36') #追加
browser = webdriver.Chrome(options=options) # Mac
@TaroNakasendo
Questionerhttps://developer.mozilla.org/ja/docs/Web/API/Navigator/webdriver
このプロパティを削除するとブロックされない場合があります。
あとはUA以外のヘッダーを足してみるとかですかね。
@TaroNakasendo
Questionerソースコードを読んでいませんが、よくあるパターンを回答しておきます。
よくあるのは、JavaScriptで動的ページをレンダリングしていたり、遅延レンダリングしている場合。
JavaScriptで認証キーを生成たりクッキーやCORSで制限しているページなら Access Denied になってもおかしくないです。
@TaroNakasendo
Questioner
