Posted at

【Python】Webスクレイピングチュートリアル -ログインが必要なサイトの場合-

More than 1 year has passed since last update.


やりたいこと


  • ログインが必要なサイトからスクレイピングする


実装


  • はてなブックマークにログイン

  • ログイン後のページのデータをスクレイピング


ソースコード


  • 詳細な手順については、下記の記事をご覧ください。

【Python】Webスクレイピングチュートリアル -ログインが必要なサイトの場合-

https://review-of-my-life.blogspot.jp/2017/10/python-selenium-siginin.html


login.py


from selenium import webdriver
browser = webdriver.PhantomJS()

loginUrl= "https://www.hatena.ne.jp/login"
browser.get(loginUrl)

username = "あなたのメールアドレス"
password = "あなたのパスワード"

userNameField = browser.find_element_by_xpath("//*[@id='login-name']")
userFameField.send_keys(username)

passwordField = browser.find_element_by_xpath("//*[@id='container']/div/form/div/div[2]/div/input")
passwordField.send_keys(password)

submitButton = browser.find_element_by_class_name("submit-button")
submitButton.click()

profile = "profile.hatena.ne.jp"
browser.get(profile)

browser.title