Python Selenium を使ってみる(VisualStudio Code)

参考：https://yasulab-pg.com/77-2/

pipを最新版にする

hoge.py

python -m pip install --upgrade pip

seleniumをインストールする

VisualStudioCodeの[Terminal]-[NewTeaminal]でPowerShellを実行する

hoge.py

pip install selenium

BeautifulSoupをインストールする

hoge.py

pip install beautifulsoup4

lxmlパッケージをインストールする

hoge.py

pip install lxml

requestsパッケージをインストールする

hoge.py

pip install requests

chrome driverのダウンロード

ヘルプ-Chromeについて

https://sites.google.com/a/chromium.org/chromedriver/downloads

ダウンロード＆解凍の後、実行ファイルと同じ場所に設置

Seleniumの基本構文

hoge.py

from selenium import webdriver
from bs4 import BeautifulSoup


options = webdriver.ChromeOptions()

#headlessならflg=1とする
flg=1

if flg==1:
  options.add_argument('--headless')
  options.add_argument('--no-sandbox')
  options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver',options=options)

url="https://kaikan.co/shop/kinki/?p=2"

driver.get(url)

html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')

results = soup.find_all("h2", class_="_shop_name")

cell_list=[]

# 結果を出力

#2秒待つ
time.sleep(2)

for result in results:

    txt = result.findAll("a")[0].get_text()
    href= result.findAll("a")[0].get('href')

    #cell_list.append(txt)
    #cell_list.append(href)

    print(txt+','+href)

driver.close()
driver.quit()

hoge.py

hoge=driver.find_element_by_id("ex13")
hoge=driver.find_element_by_name("b2")
hoge=driver.find_elements_by_link_text('あいうえお')
hoge=driver.find_elements_by_xpath(".//a")

#クリック処理
element=driver.find_element_by_class_name('ticketSelect__actionLabel')
element.click()

#ドロップダウン処理
dropdown = driver.find_element_by_name('Y15-seatdata-seat_size_1')
select_element = Select(dropdown)
select_element.select_by_index(1)

BeautifulSoup

hoge.py

#BeautifulSoup
hoge=soup.findAll(class_="p-articles-list-item")
hoge=soup.findAll("a")[0].get('href')
hoge=soup.find(class_='p-item-most-important').get_text()
hoge=soup.find(class_='p-item-title').find("a").get('href')