元記事：https://www.octoparse.jp/blog/a-complete-guide-to-web-scraping-job-postings/

2020年以来、新型コロナウイルス感染症の感染拡大による景気低迷によって悪化に転じました。総務省が12月25日発表した11月の労働力調査によると、完全失業率は2.9%になりました。一方、厚生労働省が発表した8月の有効求人倍率は8カ月連続の低下となりました。

つまり、同倍率は仕事を探す人1人に対し、何件の求人があるかを示します。企業からの有効求人は前月から0.9%増えたものの、働く意欲のある有効求職者が4.7%増えました。統計によると、現在は求人に対して、求職者の数が上回っている状態です。

市場競争がますます激しくなっている不景気の中では、まだまだチャンスが残っています。そのチャンスは一歩先に有益な情報を手に入れた会社や人たちにあります。

企業側にとって、早めに求人情報を手に入れることは、
・仕事の傾向や労働市場に合わせて自社事業をを分析・調整できる
・競合他社の動向を追跡・分析できる
・営業リストを整理・作成できる
.......

個人側にとって、早めに求人情報を手に入れることは、
・仕事の傾向や労働市場を分析できる
・目指すべき方向を調整できる
・就職チャンスをつかめる
.......

だが、データ収集はそんなに簡単にできることではないですね。特に、初心者にとっては短時間内での実現がさらなる不可能です。それではどのように求人情報を取得すればよいでしょうか。

これからこの記事で3つの取得方法を紹介し、さらにそのメリットとデメリットも一緒にご参考いただければと思います。

方法一：自分でクローラーをセットアップする#

簡単に言うと、ご自力でデータを取得するWebスクレイピングを作るということです。本記事ではプログラムを作る詳細を紹介しません。もしご興味があれば、こちらの記事をご参考いただきます。

参考記事：【Pythonクローラー入門】クローリングスクレイピング方法総まとめ

メリット：

クローリングプロセスを完全にコントロールことができる
コミュニケーションの手間が少なく、迅速な対応が可能

デメリット：

専門知識を勉強する時間が必要
　Webスクレイピングは、高いレベルな技術が必要とする独特なプロセスであり、特に人気のあるWebサイトのいくつかからスクレイピングする必要がある場合や、定期的にデータを大量に抽出する必要がある場合です。
配置・運用・保守の技術力が必要
　Webサイトのレイアウトやコードが更新するたびに、常にクローラーを動かすようなメンテナンス時間と技術力が必要です。

方法二：データ代行収集サービス（DaaS）を依頼する#

いわゆるお金を払ってデータ取得の作業を他の企業や個人などに依頼するということです。「餅は餅屋」という通り、何事においても、その道の専門家に任せるのが一番ですね。
一般的には、依頼する時にサイト数、それからサイトのHTML構造や取得するデータ量などによって料金が異なってきます。

メリット：

IT専門知識を学習する時間を省く
事務負担及び収集時に発生するリスクを軽減
　高度なセキュリティ環境であるデータセンター内にて、効率的かつ安全、正確にデータの収集を行うことができます。

デメリット：

料金が比較的に高くなる
依頼先とのコミュニケーションに時間がかかる
依頼先にサイトの取得可能性を検証してもらい、発注してから納品までのセットアップ時間が長い

方法三： Webスクレイピングツールを使う#

多くの人はまだ知らないと思いますが、実際にテクノロジーの進歩により、Webスクレイピングを自動化してくれるツールもあります。
完全な素人でも使えるようなWebスクレイピングツールはWebページのHTML構造を自動的に識別したり、必要なデータを自由に選択したり、自由にカスタマイズすることなどの機能が備えていています。もしご興味があれば、こちらの記事を見てみてください。

参考記事：無料で使えるスクレイピングツール9選

メリット：

コストが低い
初心者にやさしい
自由な時間に取得可能
カスタマイズ自由度が高い
高度なカスタマイズが可能
低メンテナンスコスト

デメリット：

プログラム作成ほどではないけど、操作設定を慣れる時間が必要
ベンダーさんのサーバー不安定による故障がよくある

前では求人情報を取得する3つの方法を紹介しましたが、これからは無料WebスクレイピングツールのOctoparseを使って、Indeedから「東京エンジニア」の下記求人情報をスクレイピングできました。

Octoparseをインストールしてからの操作設定の詳細はここで紹介しませんので、興味のある方はこちらのチュートリアルを参考してください。

参考記事：
ゼロからWebクローラーを構築する方法
 売上予測に役たつ！企業メールアドレスを取得するツール10選