Python スクレイピング時の文字化け
解決したいこと
スクレイピング対象：https://db.netkeiba.com/race/202204010808/
上記サイトをスクレイピングする際に、以下のような事象が発生しています。
①requestsを使用する場合
文字化けする。
同じ系統の別ページをスクレイピングした際は文字化けしない。
例）https://db.netkeiba.com/race/202204010807/
②seleniumを使用する場合
文字化けしない。
②の手法を取ることで、問題は解決したのですが、なぜこのような事象が発生するのかご教授いただければと思います。
該当するソースコード
①の場合
import requests
from bs4 import BeautifulSoup
session = requests.session()
url="https://db.netkeiba.com/race/202204010808/"
responce = session.get(url)
soup = BeautifulSoup(responce.content, "html.parser")
②の場合
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
options = Options()
options.add_argument('--headless')
options.add_experimental_option('excludeSwitches', ['enable-logging'])
driverpath = "ドライバのパス"
driver = webdriver.Chrome(driverpath, options=options)
url="https://db.netkeiba.com/race/202204010808/"
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
0
