デベロッパーツールと取得したhtmlの記述の違い
解決したいこと
seleniumとBeautifulSoupで、ログイン後のwebページで任意のhtml要素を取得し、
各カテゴリの情報を抽出したいのですが、
遷移した先のページをデベロッパーツールで見ると存在する要素が、
取得したhtmlにはその記述が見つかりません。
直近では、遷移した先のhtmlを取得するdriver.page_sourceと、
各カテゴリの売上を抽出するためにsoup.selectを使っています。
どなたかアドバイスを宜しくお願いいたします。
発生している問題・エラー
遷移した先のwebページとデベロッパーツールの画像です。
そして自作のコードで取得したhtml
<div class="inner-content inactive" data-testid="category-item"><div class="text-group"><span class="category-name">ランチ</span><span class="sales-count"><span class="">181</span>点</span><span class="sales-money-amount"><span class="">¥246,720</span></span></div><div class="wrapper-icon"><span class="regicon"><svg enable-background="new 0 0 512 512" id="レイヤー_1" version="1.1" viewbox="0 0 512 512" x="0px" xml:space="preserve" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" y="0px"><path d="M494,126.5c-21.9-22-60.3-22-82.2,0L256,282.3L100.2,126.5c-22-22-60.3-21.9-82.1,0C7,137.4,1,152,1,167.5 c0,15.5,6,30.2,17,41.1l196.5,196.5c11,11,25.6,17,41.1,17c0.1,0,0.3,0,0.4,0s0.3,0,0.4,0c15.5,0,30.1-6,41.1-17L494,208.7 c11-11,17.1-25.6,17-41.1C511,152,505,137.4,494,126.5z" fill="#060001"></path></svg></span></div></div></div><div style="height: 57px; left: 0px; position:
absolute; top: 639px; width: 100%;"><div class="inner-content inactive" data-testid="category-item"><div class="text-group"><span class="category-name">テイクアウト</span><span class="sales-count"><span class="">25</span>点</span><span class="sales-money-amount"><span class="">¥22,400</span></span></div><div class="wrapper-icon"><span class="regicon"><svg enable-background="new 0 0 512 512" id="レイヤー_1" version="1.1" viewbox="0 0 512 512" x="0px" xml:space="preserve" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" y="0px"><path d="M494,126.5c-21.9-22-60.3-22-82.2,0L256,282.3L100.2,126.5c-22-22-60.3-21.9-82.1,0C7,137.4,1,152,1,167.5 c0,15.5,6,30.2,17,41.1l196.5,196.5c11,11,25.6,17,41.1,17c0.1,0,0.3,0,0.4,0s0.3,0,0.4,0c15.5,0,30.1-6,41.1-17L494,208.7 c11-11,17.1-25.6,17-41.1C511,152,505,137.4,494,126.5z" fill="#060001"></path></svg></span></div></div></div></div></div></div><div class="resize-triggers"><div class="expand-trigger"><div style="width: 964px; height: 811px;"></div></div><div class="contract-trigger"></div></div></main></div></div><div class="gateway-salesDetail"></div></div></div></div><div class="resize-triggers"><div class="expand-trigger"><div style="width: 1020px; height: 635px;"></div></div><div class="contract-trigger"></div></div></div></div></div></div><div class="gateway-global-header"><div class="global-header--1hxH3IjD1q-3 header has-common-header" data-testid="global-header"><header class="hasManual"><div class="inner pc"><div class="pcTitleContainer"><a class="logo image-logo" href="https://airregi.jp/CLP//view/top/"></a><ul class="breadcrumb"><li><a class="home" href="https://airregi.jp/CLP//view/top/"><span class="regicon white"><svg enable-background="new 0 0 512 512" id="レイヤー_1" version="1.1" viewbox="0 0
512 512" x="0px" xml:space="preserve" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" y="0px"><g><path d="M503.2,196.2L262.2,9.7c-6.5-5-15.5-4.9-21.8,0.2L8.6,196.4c-7.6,6.1-8.8,17.2-2.7,24.7c6.1,7.6,17.2,8.7,24.8,2.7 l221-177.8l229.9,178c3.1,2.4,6.8,3.7,10.8,3.7c5.5,0,10.6-2.5,13.9-6.8C512.3,213.3,510.9,202.2,503.2,196.2z"></path><path d="M444.7,224.2c-9.7,0-17.6,7.9-17.6,17.6v206.7c0,10.1-8.2,18.4-18.4,18.4h-69.5l-0.6-0.1c-5.9-0.4-10.5-5-11-10.7l0-60.4 c0-28.1-22.9-51-51-51h-44.4c-28.1,0-51,22.9-51,51v59.6c-0.2,6.2-5,11.1-11.6,11.6h-66.3c-10.1,0-18.4-8.3-18.4-18.4V240.2l-0.1-1 l-0.2-0.5c-1.5-8.4-8.8-14.5-17.3-14.5c-8.5,0-15.8,6.1-17.3,14.5l-0.3,209.8c0,29.6,24.1,53.7,53.7,53.7h305.3 c29.6,0,53.7-24.1,53.7-53.7V239.2h-0.3C460.9,230.7,453.5,224.2,444.7,224.2z M216.6,395.7c0-8.6,7-15.6,15.6-15.6h44.4 c8.6,0,15.6,7,15.6,15.6v59.5l2.5,0l-2.5,0.3c-0.2,6.1-5,10.9-11.6,11.4h-52.3l-0.6-0.1c-6.1-0.4-10.8-5.3-11-11.3V395.7z"></path></g></svg></span></a></li><li class="crumb"><span class="regicon"><svg enable-background="new 0 0 512 512" id="レ
イヤー_1" version="1.1" viewbox="0 0 512 512" x="0px" xml:space="preserve" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" y="0px"><path d="M494,126.5c-21.9-22-60.3-22-82.2,0L256,282.3L100.2,126.5c-22-22-60.3-21.9-82.1,0C7,137.4,1,152,1,167.5 c0,15.5,6,30.2,17,41.1l196.5,196.5c11,11,25.6,17,41.1,17c0.1,0,0.3,0,0.4,0s0.3,0,0.4,0c15.5,0,30.1-6,41.1-17L494,208.7 c11-11,17.1-25.6,17-41.1C511,152,505,137.4,494,126.5z" fill="#060001"></path></svg></span>
該当するソースコード
month = 2
sale = []#各カテゴリの売上
time.sleep(1)
search = driver.find_element_by_xpath("/html/body/div[1]/div/div[1]/div/div/div/div/div/div/table/tbody/tr["+month+"]/td[11]/a")
time.sleep(2)
driver.execute_script("arguments[0].click();",search)
time.sleep(2)
#遷移した先のhtmlを取得
soup = BeautifulSoup(driver.page_source, features="html.parser")
print(soup)
category_f =["Anti","Primi","Secondi","Dolci","ランチ","テイクアウト","コース","未設定"]
category_d =["Vino","ノンアルコール","Birra","カクテル"]
for product in soup.select('.inner-content.inactive'):
products = product.getText()
sale.append(products)
print(sale)
自分で試したこと
待機時間の必要があるかと思いtime.sleepを使ったり、iframe関係のコードを入れてみましたが
解決できませんでした。
