42
37

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

SeleniumでSBI証券にログインして、口座情報を取得する

Last updated at Posted at 2016-10-18

## はじめに
PythonによるWebスクレイピング」を読んで、Seleniumを使って、ログインフォームのあるサイトにログインして、情報を取得してみたいと思い、個人的な要望から、SBI証券にログインして、口座の残高情報を取得してみました。初学者が見よう見まねで、書いたので、そのへんはご理解いただけますと幸いです。

Seleniumとは

Seleniumとはブラウザの操作を自動化するツールで、WebアプリのUIのテストや今回のようにスクレイピングに使用するツールです。今回はヘッドレスブラウザ(コマンドラインなどで使用するブラウザ)と組み合わせて使用しています。

実行環境

mac OSX
Python 2.7.1

## 苦労したところ

  • まだ、初心者なので、サイトの要素を探すところで苦労しました
  • あと、リスト型の取扱。途中でめんどくさいかったので、Pandasのデータフレーム型を使用してます。二次元配列からうまくCSVに出力する方法がわからなかったので。
  • レンダリングは単純に10秒待つだけなので、その辺を改善したいと思っています。

ソース

このプログラムを実行して何かあっても責任を取れませんので自己責任でお願いします。


#coding:UTF-8
import pandas as pd
import csv
from selenium import webdriver
from bs4 import BeautifulSoup

##Selenumでログインし口座情報のページのHTMLを取得
def fetch_sbi_account_html(user_id,user_password):
    driver = webdriver.PhantomJS()
    print 'driver start'
    driver.get('https://www.sbisec.co.jp/ETGate')
    
    uid = driver.find_element_by_name('user_id')
    password = driver.find_element_by_name('user_password')
    uid.send_keys(user_id)
    password.send_keys(user_password)

    driver.find_element_by_name('ACT_login').click()
    driver.implicitly_wait(10)

    driver.find_element_by_link_text('口座管理').click()
    driver.implicitly_wait(10)
    
    driver.find_element_by_link_text('評価額').click()
    driver.implicitly_wait(10)
    
    #確認用にキャプチャも取得
    driver.save_screenshot("sbi_account.png")
    html = data = driver.page_source.encode('utf-8')
    driver.quit()
    print 'driver quit'
    return html


#listを分割する。リストの成型に必要だったため。
def chunked(iterable, n):
    return [iterable[x:x + n] for x in range(0, len(iterable), n)]

#HTMLをパースして、口座の情報を取得
def parse_table(tables,table_num):
    arr = [] 
    rows = tables[table_num].findAll("tr")
    for j in range(2,len(rows)):
        cells = rows[j].findAll(['td'])
        for cell in cells:
            text = cell.get_text()
            if u"現買"not in text and u"買付" not in text:
                arr.append(text)
    arr = chunked(arr,5)
    header = ["name","amount","price","value","total_amont"]
    df = pd.DataFrame(arr, columns = header)
    return df

if __name__ == '__main__':

	#IDとパスワードのところは変更してください。
	html = fetch_sbi_account_html('[your_id]','[your_password]')
	bsObj = BeautifulSoup(html, "html.parser")
	tables = bsObj.findAll("table" ,width="300")

	#取得するテーブルの選択。この辺は適当です。CSVで出力します。
	table_type = {"stock":3 ,"found":4, "found_nisa":5}

	for key, v in table_type.items():
    	file_name = key + '.csv'
    	data = parse_table(tables,v)
    	data.to_csv(file_name, index=False, encoding='UTF-8',sep='\t')
    	print 'saved '+ file_name
    

参考ページ

42
37
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
42
37

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?