More than 3 years have passed since last update.

About robots.txt

Last updated at 2022-01-31Posted at 2022-01-31

1 / 15

robots.txtとは

robots.txtとは、収集されたくないコンテンツをクロールされないように制御するファイル。
これにより検索エンジンのクローラー（＝ロボット）に自サイトにとって重要なコンテンツを中心にクロールさせることができる。

補足
クローラーとは、ロボット型の検索エンジンがWeb上のファイルを収集するためのプログラムのこと。これによって集められたデータがインデックス化されて、巨大な検索データベースが作成される。

クロール不要なコンテンツをrobots.txtで制御することで、クロールの最適化が見込める。
クロールの最適化とは、サイト内の重要なページにたくさんクロールさせること。
サイト内の重要コンテンツはユーザにとっても価値のあるコンテンツである可能性が高く、短期間でSEO改善が見込めるようになる。

robots.txtはFTPソフトを使って、テキストファイルで記述。記述する内容は、

の3つの要素のみ
file名はrobots.txtで固定

どのクローラーの動きを制御するかを指定。たとえば、Googlebotと指定した場合、GoogleのWebクロールを制御することになる。しかし、基本的には「*」（すべてのクローラーを指定）で問題ない。

クローラーのアクセスを制御するファイルを指定するもの。Disallowで指定されたファイルやディレクトリはクロールがブロックされる。Disallowで指定がない場合にはクロールが許可されることになる。

EX.

Disallow:
といったように空白になっていれば、すべてのファイルやディレクトリがクロールの対象となる。

Disallow:/example/
と記載した場合には、このディレクトリ配下がブロックされる。

sitemap.xmlの場所をクローラーに伝えるものです。これを記述しておくとSitemapを積極的に読んでもらえるので、是非記載しておきましょう。

sitemap.xmlに関しては以下参照
https://digital-marketing.jp/seo/what-is-sitemapxml/#XMLsitemapxml

サーバーに設置する前に、ファイルが正しくかかっているのか確認。確認するには、Googleサーチコンソールのrobots.txtテスターを使用。

「クロール>robots.txtテスター」をクリックし、上記の手順で作成したテキストを貼り付け、「テスト」をクリック。ここでファイルがしっかりブロックされたか確認ができる。

robot.txtファイルは、ドメインのルートディレクトリに設置。これはrobot.txtという名前のテキストファイルを作成するだけ。ただし、サブディレクトリ型のサイトではこれは使用不可。

そのためサブディレクトリ型のサイトに関してはrobots metaタグを使用する必要がある。

また、ファイルを設置してから反映されるまではタイムラグがあるので、要注意。

引用
https://wacul-ai.com/blog/seo/internal-seo/seo-robots-txt/

ほぼこれと一緒！
覚えるための写しに近いです。