今回はこのタイトル通り、
これからこういったサイトを作って検索エンジンに登録しようと思っているあなたや、Ajaxで取得して表示しているのに、検索エンジンのウェブマスターツールから内容が見られず困っているあなたへの情報です。
情報収集中の方にぜひお役に立てれば嬉しいです！
原因は何なのか
GASは応答形式にもよりますが、
ContentService.createTextOutput();
を使用することが多いと思います。
それをAjax();などで取得し、エスケープしたりして、内容を表示するサイトを作るとします。
その場合、サーチコンソールを使うと
と、
robots.txtでブロックされとるやないかーい
結論としては、こういったGASのデータをAjaxを用いて直接表示するサイトで、検索エンジンに登録目的の製作は推奨されない可能性が考えられるということです。
ということは、robots.txtに影響を受けないようにするしかないですが、その方法をここに書くのは控えたいと思います。
つまり、そういう仕様です。
なんで原因わかったのに解決法教えてくれないの？
それは、公式に確認できていないからです。robots.txtが設定されている意味を確認できないと、もろもろ大惨事になるかもしれないからです。あくまでも憶測ですが、多くのスクリプトを管理するドメインのため(script.google.com)、利用者(スクリプトを作成するユーザ)の万が一の設定ミスで重要情報をクロールされたりなどに対応できるようにされているとも考えられます。そこから考えると、その個スクリプト単位であれば、各サイト運営者の判断にもなりそうですが。。。
こういった記事で適当なことを言うとよろしくないので結論をお読みください、
という知識記事でした。
私個人としては、公式からこのrobots.txtの意義が開示されるまでは、
作るとしても、
普通に人が見る分(普通のブラウザ)には見えるので、
検索エンジンから見えるようにする必要のないサイトに使うのは良いと思います。(データベース検索画面など)
これについて公式の情報や、ほかの情報がある場合はコメントよりお知らせいただければと思います。