【#51 エンジニア転職学習】goqueryを使用したスクレイピング

はじめに

富山県に住んでいるChikaといいます。
毎日投稿を目標に、バックエンドエンジニア転職に向けた学習内容をアウトプットします。

本日よりスクレイピングのプロジェクトをつくっていきます。

バックエンドエンジニアになるまでの学習内容は以前投稿した以下の記事を基にしています。

本日の学習内容

本日はプロジェクトのタスク決め、goqueryの操作をやってみました。

• プロジェクトのタスク決め　←Topics!!

スクレイピングプロジェクトのタスク決め

今回参考にするメイン教材は以下の動画です。
動画はLaravelとgoutteを使用していますが、Go・goquery・GORMに置き換えて作成していきたいと思います。

タスク

動画内仕様策定の内容実装することを段階的に設定しました。

1. プロジェクトの構成整理
2. goqueryでURL一覧取得をするハンドラー作成
3. goqueryで各求人情報を取得するハンドラー作成
4. スクレピングしてきた情報をDBに保存
5. MySQLのテーブル2つをCSVに出力
6. データを毎回削除して新規保存する機能追加

ファイル構成は以下で作成していこうと思います。

job_offer_scraping/
├── db
│   ├── base.go      -->DBコネクタ、イニシャライザー作成
│   └── dbmodels.go  -->テーブルモデルの作成
├── main.go　　　　　 -->scrapeとDB接続の実行
└── scrape
    └── scrape.go　　-->URLと求人情報スクレイピング

おわりに

最後までお読みいただきありがとうございました。
アドバイス・応援コメント等いただけますと幸いです。