僕はデータエンジニアをやっていて、日頃からデータを収集したり自動化したりしています。
エンジニアになりたての頃に勉強のために作ったプログラムをまとめました。各リンクはGitHubに飛びます。
動かなくなっているものもありますが、誰かの役に立てば幸いです。
- メルカリから商品情報をスクレイピングするプログラム
- Google検索を自動化するプログラム
- Yahoo検索を自動化するプログラム
- 【改良版】Yahoo検索を自動化するプログラム
- クラウドソーシングサイト「ランサーズ」の検索案件を自動化するプログラム
- 法律事務所の情報をスクレイピングするプログラム
- PythonでGoogleスプレッドシートを操作するプログラム
- Flaskで作る小規模なWebアプリ
- Flaskで作るドラマレビューサイト
- Scrapyでニュースサイトをスクレイピングするプログラム
- ヤフオク出品ツール
- Amazon、ヤフオクからスクレイピングしてスプレッドシートに出力するプログラム
- EcoRing the Auction、メルカリからスクレイピングするプログラム