@sami1220posted at 2021-09-13

Webスクレイピングで取得してきたlistデータから必要部分だけ抽出したい

Q&A

Python スクレイピング list pandas 前処理

解決したいこと

webスクレイピングで取得してきたlistデータを
必要な要素だけ抽出してdictに変換したい

発生している問題・エラー

現在、Webスクレイピングで取得してきたデータがlistに格納されており、必要な部分だけ抽出してdictにしたいと考えております。

少ない行数の場合は手作業で行っておりましたが、今回listも500までの長さがあり、今後も同様の手法でデータ抽出を行う予定のため、効率よくかける方法を教えていただきたく質問いたしました。

自分で試したこと

空のlistを作っておき、for文とif文で特定のindexになった時にappendする方法を試してみましたが、if文の条件がうまく思いつかず成功できませんでした。

どうぞよろしくお願い位します。

2Answer

@ktz_alias posted at 2021-09-13

5要素がワンセットの繰り返しで構成されており、4, 5要素目を消したいのであれば、
配列インデックスに対して5で割った余りを利用すればよいです。

5で割った余りを計算したとき、0～2であれば先頭3要素なのでキープ、3, 4であれば4, 5要素なのでスキップするようなコードを書けばよいでしょう。

0Like

@sami1220 posted at 2021-09-13

i = len(name_list)//5
arr = np.array(name_list).reshape(i,5)
arr = np.delete(arr,[3,4],1)
my_dict = {key: val for key , val in zip(arr[:,2].tolist(), arr[:,1].tolist())}

最初と少し違った整理の仕方にはなりましたが、このように書いたらうまく整理できました

ありがとうございました