無料の検索順位取得ツールをAWS(EC2)上で運用しはじめました。
サーバー上で運用できるため、PCを開いていなくても検索順位の定時実行ができることは魅力的なのですが、いくつかのエラーの壁を超える必要があります。
本記事では、ネットワークエラーの解消手順について解説します。
環境
- SERPOSCOPE 2.10.0
- AWS EC2
エラーの確認方法
トップページを確認すると、検索がうまくいっていませんね。(Failure)
検索順位がうまくいっていない時はエラーを確認します。
ログよりエラーの種類を確認できます。トップページ > Logs
私が遭遇した主なエラーは下記の2種類です。
- ネットワークエラーなら
ERROR_NETWORK - キャプチャ認証エラーなら
ERROR CAPTCHA NO SOLVER
ネットワークエラーの解決方法
Githubにネットワークエラーの解決方法の記載がありました。
These errors are due to Google restrictions / captchas. Solutions are : increase the pause between request, add proxies, add credit to all captcha solver API because they are always overloaded so serposcope can fallback on an API which work
https://github.com/serphacker/serposcope/issues/180#issuecomment-381414112
ざっくりと日本語に訳すと、
ネットワークエラーはGoogleの規制によるもので、解決策は下記の通り
- リクエストの待ち時間を増やす
- プロキシを追加する
- 全てのキャプチャ認証のクレジットを追加する
とのことです。
それぞれの解決策を見ていきます。
リクエストの待ち時間を増やす
ADMIN > GENERAL > NETWORKING OPTIONS > Pause
リクエストの待ち時間とは、キーワード1個あたりのGoogleの検索順位を取得するための時間のことで、元々 MIN 120, MAX 130でしたが増やしました。
プロキシを追加する
運用している、AWSのサーバーではなく代理のサーバーから検索順位を取得できるように代理（プロキシ）サーバーを追加します。
ADMIN > PROXIES > Add proxy
無料のhttpプロキシサーバーを利用する場合はログインユーザー名やパスワードは不要なので、http proxy : http#127.0.0.1#80の型で入力すれば良いです。
無料のプロキシFREE PROXY LISTSを調べ追加します。(下記は追加例)
追加できましたね。
全てのキャプチャ認証のクレジットを追加する
意外にもキャプチャ認証のクレジットがネットワークエラーと関係しているようですね。
私は下記の記事を参考に、AntiCaptchaのみ導入しました。
まとめ
3点全ての対策を施し、様子を見たいと思います。