PythonによるWebスクレイピング〜入門編〜【業務効率化への第一歩】の9-10勉強メモ
https://www.udemy.com/course/python-scraping-beginner/
スクレイピング対象ページ(PW制限あり)
https://scraping-for-beginner.herokuapp.com/mypage
#要件: 下記テーブルの右側部分のテキスト情報を一括取得すること
F12を押し、開発ツールで確認すると右側のテキストは、すべてtdでマークアップされていることがわかる。
1. ブラウザからtdの要素を取得する。
elems_td = browser.find_elements_by_tag_name('td')
2. tdの中から要素を一つづつ取り出しvalueに入れる
tdの要素をすべて取得したelems_tdの情報を、elem_tdに入れる。
values = []
#elems_tdの中から要素を一つづつ取り出しelem_tdに入れる
for elem_td in elems_td:
##3.elem_tdの要素(text形式)を、valueに入れる。
#elem_tdの要素(text形式)を、valueに入れる
value = elem_td.text
##4. valueの要素をすべて、valuesのリストに追加
#valueの要素をすべて、valuesのリストに追加
values.append(value)
##すべてのコード
#ブラウザからtdの要素を取得
elems_td = browser.find_elements_by_tag_name('td')
values = []
#elems_tdの中から要素を一つづつ取り出しelem_tdに入れる
for elem_td in elems_td:
#elem_tdの要素(text形式)を、valueに入れる
value = elem_td.text
#valueの要素をすべて、valuesのリストに追加
values.append(value)
#valuesを打つ
values
結果
['今西 航平', '株式会社キカガク', '1994年7月15日', '千葉県', 'バスケットボール\n読書\nガジェット集め']