弊社サイト あなたのマイスターのアプリケーションログを確認していると、定期的にエラーが発生していたので、その調査の過程で Mediapartners-Google が何者かを明らかにしたの備忘のためにメモ。
TL;DR
- Mediapartners-GoogleはAdSense広告を掲載しているサイトを見に来てる
- 認証が必要なページに対してエラーが起きてても悪影響はない
- robots.txtとかで適切にはじいてあげましょう
- 触らぬ神に祟り無し的な風潮もある
背景
弊社サイト あなたのマイスターの注文フォームでたまにエラーが起きていた。
ログを見てみると、数秒前にお客様へは200ステータスでレスポンスは返却できている。
※ログのイメージ
08/May/2018:11:31:41 status:200 uri:/xxxxxxx/yyyyyyyy ua:Mozilla/5.0 (iPhone; CPU iPhone OS 11_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.0 Mobile/15E148 Safari/604.1
08/May/2018:11:31:42 status:400 uri:/xxxxxxx/yyyyyyyy ua:Mediapartners-Google
このエラーを解消するにはどうしたらよいか、が調査の起点になっている。
User Agent を調べてみた
Mediapartners-Google
参考：https://support.google.com/webmasters/answer/1061943?hl=ja
- Google Adsense のクローラーの一種で、AdSense広告を掲載しているサイトを見に来る
- サイトを評価するのが目的だが、いわゆるGoogleの検索順位とは無関係のため、SEOとは関連がない
- 関係があるとすれば、AdSense広告収入の単価が変わってくるだろう
もう一度ログをあさってみると
- UAが
Mediapartners-Googleのアクセスは注文フォームに限らず広範囲かつ頻繁に起きていた - 画面を触りながら検証した結果によると、
- ユーザーが閲覧する直後にMediapartners-Googleからのアクセスを「呼び水」する
- 一度呼び水をしたら、その後リロードしても「呼び水」しない制限は入っている
おそらくMediapartners-Googleが見たいのは、サイト全体のページだろうと予想されるので、まだMediapartners-Googleがクロールしたことがないページがあれば、「呼び水」に応じるというサーバーサイドの処理があると予想されます。
よって、認証が必要なページ等へのリクエストは必ず認証エラーとなりますのでMediapartners-Googleに対してはエラーレスポンスが返されるというのが繰り返される、という状況でした。
おそらく、これからもこの状態は解消されないと思うので、よっぼど邪魔になりそうだったら、robots.txtとかで制限かけていこうと思います。（ただし、できるだけ触らないほうがいいと言っている人が多く、ちょっと怖い）
参考ページ
- Mediapartners-Googleとは？ https://upblo.com/contents/?id=10030