Next.jsでrobots.txtを作る方法

静的に配置する

appディレクトリにrobots.txtを配置することで
公開できます。

User-Agent: *
Allow: /
Disallow: /private/

Sitemap: https://acme.com/sitemap.xml

動的に生成する

import type { MetadataRoute } from 'next'
 
export default function robots(): MetadataRoute.Robots {
  return {
    rules: {
      userAgent: '*',
      allow: '/',
      disallow: '/private/',
    },
    sitemap: 'https://acme.com/sitemap.xml',
  }
}

基本的な記法はrobots.txtと変化ありませんが、
rulesが複数個になったらリストに入れる形になるようです。

参考文献