Seleniumを使用し自動ログイン、データ収集

PythonによるWebスクレイピング〜入門編〜【業務効率化への第一歩】の6-8勉強メモ
https://www.udemy.com/course/python-scraping-beginner/

##(基本設定)Seleniumからwebdriverをimport

from selenium import webdriver

##Chromeを開いて、対象URLを開く

browser = webdriver.Chrome()
browser.get('https://scraping-for-beginner.herokuapp.com/login_page')

#Seleniumを使用し自動ログイン~Username/Passwordを自動入力

フォームのidを取得

該当ページのフォーム部分のidを開発ツールを使用し取得

###調査結果
usernameのidが、username、passwordのidがpasswordであることが判明。

##Username自動ログイン手順

#Browserで　usernameという　id elementをさがして、要素usernameにkey(hogehoge)というkeyを打ち込む

elem_username = browser.find_element_by_id('username')
elem_username.send_keys('hogehoge')

##Password自動ログイン手順

##Browserで　passwordという　id elementをさがして、要素passwordにkey(hogehoge)というkeyを打ち込む
elem_password = browser.find_element_by_id('password')
elem_password.send_keys('hogehoge')

ログイン処理

#ログイン処理
elem_login_btn = browser.find_element_by_id('login-btn')
#ボタンを押す処理
elem_login_btn.click()

ここまですべて

browser = webdriver.Chrome()
browser.get('https://scraping-for-beginner.herokuapp.com/login_page')

# 要素を指定 browserで　usernameという　id elementをさがして
elem_username = browser.find_element_by_id('username')
#elem userにkey(~~~~)というkeyを打ち込んで
elem_username.send_keys('imanishi')

elem_password = browser.find_element_by_id('password')
elem_password.send_keys('kohei')

# ログイン処理
elem_login_btn = browser.find_element_by_id('login-btn')
# ボタンを押す処理
elem_login_btn.click()

#データ収集

##hobbyというelementを探し、「elem.text」で取得内容を出力
elem = browser.find_element_by_id('hobby')
elem.text

結果が下記のように改行が含まれているので、改行を削除

'バスケットボール\n読書\nガジェット集め'

##改行削除

#elem.textをhobbyという変数に格納し、replace関数を使用し改行を,に変更
hobby = elem.text
hobby.replace('\n',',')

結果

'バスケットボール,読書,ガジェット集め'

#Browserを閉じる

browser.quit()`