【Python】Webスクレイピングチュートリアル -ログインが必要なサイトの場合-

やりたいこと

• ログインが必要なサイトからスクレイピングする

実装

• はてなブックマークにログイン
• ログイン後のページのデータをスクレイピング

ソースコード

• 詳細な手順については、下記の記事をご覧ください。

【Python】Webスクレイピングチュートリアル　-ログインが必要なサイトの場合-
https://review-of-my-life.blogspot.jp/2017/10/python-selenium-siginin.html

login.py

from selenium import webdriver
browser = webdriver.PhantomJS()

loginUrl= "https://www.hatena.ne.jp/login"
browser.get(loginUrl)

username = "あなたのメールアドレス"
password = "あなたのパスワード"

userNameField = browser.find_element_by_xpath("//*[@id='login-name']")
userFameField.send_keys(username)

passwordField = browser.find_element_by_xpath("//*[@id='container']/div/form/div/div[2]/div/input")
passwordField.send_keys(password)

submitButton = browser.find_element_by_class_name("submit-button")
submitButton.click()

profile = "profile.hatena.ne.jp"
browser.get(profile)

browser.title