Help us understand the problem. What is going on with this article?

pythonでスクレイピング+Google Spread Sheetに出力

More than 1 year has passed since last update.

背景

開発系の副業したいなあ

副業サイトで開発案件探してみよう~

お手軽そうなpythonでのツール開発(スクレイピング等を用いたデータ処理系)がよさそう!

案件を取るためにはポートフォリオ必要だなぁ

pythonを用いたツール系の案件はどんな特徴があるのかリサーチしてみよう~

そして案件を取るための最適なポートフォリオ作ろう!

ランサーズで
python ツール
で検索してみた。

特徴をまとめて分析するためにも、検索結果のタイトルの一覧をExcelとかでまとめたいなあ

スクレイピングして一覧化しよう~

Yes, Let's scraping!

スクレイピング実行環境

利用言語 Python 3.7.0
利用パッケージ Beautiful Soup4
参考サイト

作成したツールのソースはこちら

つまったところ

html = requests.get(url)

HTTP403エラーが生じます

headerを偽装します

headers = {'User-Agent': 'Mozilla/5.0'}
html = requests.get(url, headers=headers)

スクレイピング対策らしく、クローリングでhtmlを取得できないようにしてるみたいです。

google spread sheet に出力

認証の際に参考にしたサイト

Google Sheetsのapi公式リファレンス

Google Sheetsにて読み書きするためのメソッドガイド

scraping_python.PNG

こんな感じで出力されます。

AmazonAPIのデータ抽出案件がいい感じなきがする、、、

次回はAmazonAPIのデータ抽出ツールに関する記事を書きたいと思います!!!!!

anegawa_j
from Nagasaki from Kyushu Univ. Now, in Tokyo and IT Engineer
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away