0
1

More than 3 years have passed since last update.

【Python】スクレイピングでデータを取得し、リストに入れる時の注意点

Posted at

スクレイピングをするときの注意点
自分が沼にはまった時の対応です。

test.py
for s in name:
  name_list=[]
  name_list.append(s.string)

このコードの問題点はname_listの位置です。
この位置だと毎回name_listの中身が更新されます。
つまりforで回しているが、結局nameの一番最後の要素しか
name_listにappendされません。

ということで、name_listの位置を変えましょう。

test.py
name_list=[]
for s in name:
  name_list.append(s.string)

name_listをforの外に出すことで、nameの要素を順番に取得して、
appendするというコードになります。

特に私はまず1P、1要素スクレイピングできるか試してから、全体のスクレイピングを
行うので、そもそもテスト段階ではforをほとんど使いません。

その為、いざ全体のスクレイピングを行う際に空のリストの位置を間違えると
このようなことになります。

0
1
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1