ビッグデータ・AIの台頭とともに、データ収集、活用の重要性が高まるようになりました。ビッグデータを収集するために、多くの企業は専門のクローラーエンジニアを採用しています。今回の記事では、「クローラーエンジニア」の仕事内容、学習すべきスキルについて解説したいと思います。
クローラーエンジニアとは？仕事内容は？
簡単に言えば、クローラーエンジニアはWebクローラーを開発するエンジニアです。以前紹介したとおり、Webクローラーとはインターネット上に公開されているテキスト・画像・動画などの情報を自動で収集し、データベースに保管するプログラムのことです。
クローラーエンジニアとして、ネット上掲載している情報を自動で収集できる「クローラー」プログラムを書かなければなりません。
多くの企業はデータを活用してビジネスチャンスにしていこうと取り組みを進めているでしょう。会社のビジネスによって、仕事内容もそれぞれです。
例えば、Google検索エンジンなどデータ集約型のWebサイトでは、数ミリ秒以内に特定のキーワードを含むページを提供できます。Webページをリアルタイムで見つけるのではなく、事前にスクレイピングして独自のデータベースに保存することは間違いありません。
また、価格比較など、情報比較を提供するWebサイトがあります。これは、Webクローラーを介してさまざまなショッピングWebサイトにある製品の価格をスクレイピングし、各ショッピングサイトの価格をまとめて表示します。ショッピングサイトの価格は時々変化しますが、比較サイトでスクレイピングされたデータは削除されないため、価格トレンドを提供することができます。
クローラーエンジニアになるには、学習すべきことは？
1. 少なくとも1つのプログラミング言語
コーディング基礎は、すべてエンジニアに不可欠です。実際、クローラーの開発は簡単な仕事ではなく、使用するプログラミング言語に精通し、関連するフレームワークとライブラリに詳しくすることが重要です。もちろん、スクレイピングの主流はPythonですね。
2. タスクキュー
クローリング作業が膨大な量のデータを処理するとき、システムに多大な負荷がかかり、システムは停滞するかハングアップするかして支障を来たす可能成があります。したがって、非同期分散処理できるタスクキューが必要です。タスクキューを使うと、複数台のマシンでワーカーを構成して分散処理を行うことで、高いスループットを発揮します。
後からワーカーにマシンを追加することで、処理性能とデータ保持容量をスケールアウトすることもできます。ワーカーがタスクの処理に失敗した場合、タスクキューはキューに再試行メカニズムを適用するため、タスクは限られた回数だけ再試行されます。
一般的に使用されるタスクキューサービスはKafka、Beanstalkd、Celeryなどです。
3. データベース
言うまでもなく、データを保存するにはデータベースが必要がです。ここではNoSQLのMongoDBをお勧めします。MongoDBはスケーラビリティが高く、容易にスケールアウト（水平スケール）できるので、大量のデータを高速に処理することが可能です。
4. HTTPとHTMLの知識
スクレイピングするのはWebページのデータだから、Webページの構造を理解する必要があります。
HTTPとはWebサーバとWebブラウザ用の通信プロトコルです。私たちはInternet ExplorerやGoogle ChromeなどのWebブラウザを使用してWebサイトにアクセスします。そもそもWebページの正体はHTMLタグを使って構成されている文書ですが、閲覧したいページや画像、動画などをWebサーバに要求して、内容に応じてWebサーバがレスポンスを返します。レスポンスを受け取ったWebブラウザは画面上にページや画像、動画などを表示します。
5. クローラーブロック対策
クローラーエンジニアはクローラーを開発する人と言っても、クローラーブロック対策を了解するのも重要です。一般的なクローラーブロック対策は次のとおりです。
（1）アクセス頻度制限
頻繁にアクセスする場合、WebサイトがこのIPをしばらくブロックすることがあります。その一方、クローラーを開発するとき、クローラーが人間のような頻度でWebページにアクセスするようにしようとすることができます。
（2）ログイン制限
ログインのステップを追加位して、クローラーのアクセスを拒否するのは普通ですね。ただし、現在のクローラーは、ログインをシミュレートし、Cookieを追加することでログインを解決することもできます。
（3）Header制限
通常、SafariやChromeなどのブラウザを使ってWebサイトにアクセスする場合、Headerやオペレーティングシステムの情報があります。クローラーでアクセスする場合、そのようなHeaderはありません。
（4）動的なJavaScriptコンテンツ
一部のWebページにはJavaScriptを介して生成されるコンテンツがあります。つまり、JavaScriptを使うと、新しいコンテンツが表示されたり変化します。このような動的なWebページをスクレイピングするのは難しいです。
（5）CAPTCHA
CAPTCHAはコンピューターと人間を区別するバクロニムです。ゆがんだ文字列と数字が使われるCAPTCHAは人間にとって理解しやすいですが、クローラーにとってそれを認識するのが難しいです。
（6）IP制限
この方法では、特定のIPが永久にブロックされる場合がありますが、実際のユーザーに迷惑をかけてしまう可能性があります。
まとめ
いかがでしたか？クローラーエンジニアは思ったような退屈な仕事ではなく、学ぶべきこともたくさんありますね。
もちろん、社内のエンジニアリソースが足りないであったり、そもそも技術的なスタッフがいなったり、わざわざエンジニアを雇う予算がない場合もあります。幸いに、OctoparseのようなWebクローラーツールを使って、誰でもクローラーを開発でき、誰でもクローラーエンジニアになれます。自社にノウハウがないが、課題解決にデータを収集したい場合は、ぜひWebクローラーツールを試してみてください。