弊社サイトあなたのマイスターのアプリケーションログを確認していると、定期的にエラーが発生していたので、その調査の過程で Mediapartners-Google が何者かを明らかにしたの備忘のためにメモ。

TL;DR

Mediapartners-GoogleはAdSense広告を掲載しているサイトを見に来てる
認証が必要なページに対してエラーが起きてても悪影響はない
robots.txtとかで適切にはじいてあげましょう
- 触らぬ神に祟り無し的な風潮もある

背景

弊社サイトあなたのマイスターの注文フォームでたまにエラーが起きていた。
ログを見てみると、数秒前にお客様へは200ステータスでレスポンスは返却できている。

※ログのイメージ

08/May/2018:11:31:41  status:200  uri:/xxxxxxx/yyyyyyyy  ua:Mozilla/5.0 (iPhone; CPU iPhone OS 11_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.0 Mobile/15E148 Safari/604.1
08/May/2018:11:31:42  status:400  uri:/xxxxxxx/yyyyyyyy  ua:Mediapartners-Google

このエラーを解消するにはどうしたらよいか、が調査の起点になっている。

User Agent を調べてみた

Mediapartners-Google

参考：https://support.google.com/webmasters/answer/1061943?hl=ja

Google Adsense のクローラーの一種で、AdSense広告を掲載しているサイトを見に来る
サイトを評価するのが目的だが、いわゆるGoogleの検索順位とは無関係のため、SEOとは関連がない
関係があるとすれば、AdSense広告収入の単価が変わってくるだろう

もう一度ログをあさってみると

UAが Mediapartners-Google のアクセスは注文フォームに限らず広範囲かつ頻繁に起きていた
画面を触りながら検証した結果によると、
- ユーザーが閲覧する直後にMediapartners-Googleからのアクセスを「呼び水」する
- 一度呼び水をしたら、その後リロードしても「呼び水」しない制限は入っている

おそらくMediapartners-Googleが見たいのは、サイト全体のページだろうと予想されるので、まだMediapartners-Googleがクロールしたことがないページがあれば、「呼び水」に応じるというサーバーサイドの処理があると予想されます。

よって、認証が必要なページ等へのリクエストは必ず認証エラーとなりますのでMediapartners-Googleに対してはエラーレスポンスが返されるというのが繰り返される、という状況でした。

おそらく、これからもこの状態は解消されないと思うので、よっぼど邪魔になりそうだったら、robots.txtとかで制限かけていこうと思います。（ただし、できるだけ触らないほうがいいと言っている人が多く、ちょっと怖い）

参考ページ

Mediapartners-Googleとは？
https://upblo.com/contents/?id=10030