はじめに

Webサイトを運営する上で、SEO（検索エンジン最適化）は避けて通れない重要な要素です。その中でも、robots.txt と sitemap.xml は、検索エンジンのクローラー（ロボット）があなたのサイトをどのように扱うかを制御するための重要なファイルです。本記事では、これらのファイルの役割や設定方法、クロールの仕組みを徹底解説します。

1. robots.txt とは？

1.1 役割

robots.txt は、Webサイトのサーバーに設置する テキストファイル で、検索エンジンのクローラーに対して 「サイト内のどのページをクロールして良いか、またはクロール禁止か」 を指示するために使われます。

クロール許可 (Allow): 指定したページやディレクトリをクローラーに見せる
クロール禁止 (Disallow): 特定のページや機密情報をクロールさせない

1.2 実際の設定例

User-agent: *
Allow: /
Disallow: /admin
Sitemap: https://example.com/sitemap.xml

User-agent: *: すべてのクローラーに適用
Allow: /: サイト全体をクロール許可
Disallow: /admin: 管理画面はクロール禁止
Sitemap:: サイトマップの場所を指定

2. sitemap.xml とは？

2.1 役割

sitemap.xml は、Webサイト内の URL一覧 をXML形式でまとめたファイルです。検索エンジンに 「サイト内の全てのページの構造や更新情報」 を伝えることで、より効率的にクロールしてもらうために使います。

URLの一覧: クローラーが見つけにくいページも確実にクロールされる
最終更新日 (<lastmod>): ページの更新情報を伝える

2.2 実際の設定例

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2025-02-28</lastmod>
  </url>
  <url>
    <loc>https://example.com/about</loc>
    <lastmod>2025-02-27</lastmod>
  </url>
</urlset>

3. クローラーの仕組みと両者の関係

3.1 クロールの流れ

クローラーがWebサイトにアクセス
robots.txt を最初に確認
許可されているページをクロール
sitemap.xml を見て、サイト内のすべてのページを巡回
インデックス（検索エンジンに登録）される

3.2 具体的なフロー

1. https://example.com/robots.txt にアクセス
↓
2. 許可されたページをクロール（Allow: /）
↓
3. https://example.com/sitemap.xml も確認
↓
4. サイトマップ内のページをすべてクロール
↓
5. 検索結果に反映

4. Next.js での実装方法

4.1 robots.ts の設定例

export default function robots() {
  return {
    rules: {
      userAgent: '*',
      allow: '/',
    },
    sitemap: 'https://example.com/sitemap.xml',
  };
}

4.2 sitemap.ts の設定例

export default function sitemap() {
  return [
    {
      url: 'https://example.com/',
      lastModified: new Date(),
    },
    {
      url: 'https://example.com/about',
      lastModified: new Date('2025-02-27'),
    },
  ];
}

5. まとめ

robots.txt は「クロールのルール」を設定するファイル
sitemap.xml は「サイト構造とURL情報」を提供するファイル
2つを組み合わせて、検索エンジンに効率よくページをインデックスしてもらうことがSEOに効果的
Next.js を使えば、robots.ts と sitemap.ts を使って自動的にこれらのファイルを生成可能

Webサイトを運営するなら、ぜひ robots.txt と sitemap.xml を活用して、検索エンジンにもユーザーにも優しいサイト作りを目指しましょう！