Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
2
Help us understand the problem. What is going on with this article?
@kamyu1201@github

reCAPTCHAのサイトを毎日自動スクレイピングする (3/7: xlsファイル処理)

More than 1 year has passed since last update.
  1. 要件定義〜python環境構築
  2. サイトのスクレイピング機構を作る
  3. ダウンロードしたファイル(xls)を加工し、最終成果物(csv)を作成するようにする
  4. S3からのファイルダウンロード / S3へのファイルアップロードをつくる
  5. 2captchaを実装
  6. Dockerコンテナで起動できるようにする
  7. AWS batchに登録

ファイル操作

前回まででseleniumを使ったファイルダウンロードを行ったので、
それを取得・加工してcsvファイルとして保存し直す処理を記載します。

ファイル一覧を取得

特定のフォルダ内の特定パターンのファイルをすべて取得する!
というときはglobが便利。

# 当該正規表現のファイルリストを取得(glob)
file_list = glob.glob(dl_dir+'/*')

Excelファイルの操作

pythonによるexcel操作はいくつかライブラリがあるようですが、ひとつ覚えておくと便利そう。私はxlrdを使います。

# Excelファイルの操作
wb = xlrd.open_workbook(file_name) #xlsを開く
sheet_names = wb.sheet_names() #シート名一覧を取得
sheet = wb.sheet_by_name(sheet_names[1]) 
values2 = sheet.col_values(2)
values5 = sheet.col_values(5)
values2.pop(0) #1行目をなくすため…。もっといいやり方あるのかな
values5.pop(0)
for i in range(len(channels)):
    obj = [
        word,
        someFunction2(values2[i]),
        someFunction5(values5[i])
    ]
    result.append(obj)

csvファイルに保存

with open(up_dir + '/result-{}.csv'.format(file_name), 'w') as f:
    writer = csv.writer(f)
    writer.writerows(result)

完成

ここまでで、

  • 実行するとサイトをスクレイピングしてファイルをダウンロードし
  • それを加工したものを特定フォルダに置く

というところまでできました。
次は、「加工したものをS3に送る」ところと、「そもそものINPUT(words)をS3から取得する」ところを書いていきます。

2
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
kamyu1201@github
javaエンジニア6年 → SE兼エンジニアMgr2年 → 現在は Product Manager の3年目です。 `ちゃんと使われるシステム` にこだわりたい。 モダンなシステム開発ができるよう、エンジニア再修行中。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
2
Help us understand the problem. What is going on with this article?