robots.txt でクローラーのアクセスを制限する

Apache2.4 のアクセスログが次のような状況でした。

$ grep SemrushBot access*.log | wc
   6552   98280 3790927

$ grep MJ12bot access*.log | wc
   6185   92775 2139285

$ grep AhrefsBot access*.log | wc
  16802  252030 6534579

$ grep BLEXBot access*.log | wc
   3798   56970 1035560

そこで、robots.txt に次を加えました。

robots.txt

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: BLEXBot
Disallow: /