llms.txtとAIクローラー対策｜自社サイトがAI検索に引用されるための実装手順
はじめに
ChatGPT、Gemini、PerplexityなどのAI検索からの流入を獲得する施策、AEO（Answer Engine Optimization）が日本のWeb担当者・EC事業者で急速に注目されています。
AEOの基礎となるのが「AIクローラーのアクセス制御」と「llms.txtの設置」です。
robots.txtは検索エンジンロボット向けの設定ファイルですが、llms.txtはLLM（大規模言語モデル）向けにサイトの重要ページを伝える専用ファイルになります。
「自分のサイトがAIにどのように認識されているか確認したい」
「llms.txtを設置したが、AIクローラーに読み込まれているか分からない」
このような悩みをお持ちのWeb担当者向けに、実装方法と確認方法を解説します。
1. 主要AIクローラー一覧
代表的なAIボットのUser-Agentです。robots.txtで許可/拒否を設定できます。
| Bot名 | User-agent |
|---|---|
| GPTBot | GPTBot |
| ClaudeBot | Claude-Web |
| PerplexityBot | PerplexityBot |
| Gemini | Google-Extended |
robots.txt 設定例（AIクローラーを許可する場合）
User-agent: GPTBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
管理画面や機密ページは`Disallow`でブロックしてください。
## 2. llms.txt の書き方・設置ルール
llms.txt は**ドメイン直下 `https://ドメイン/llms.txt`** に配置します。
Sitemap.xml が検索エンジン向けのページ一覧とするなら、llms.txt は「AI モデルに読ませたい重要ページだけをまとめた資料」です。
### 簡単なテンプレート
# サイト概要
このサイトは〇〇に関する情報を提供するWebサイトです。
## 重要ページ
- [サービストップ](https://example.com): サービスの概要説明
- [ガイド記事](https://example.com/guide): 導入手順・ノウハウ
- [よくある質問](https://example.com/faq): 利用上の質問と回答
> ポイント
>
>
> - 全ページを記載する必要はなく、AI に引用してほしいページに絞る
> - 1 ページごとに簡単な概要文を付けると LLM が理解しやすい
> - 文字量が膨大にならないように整理する
## 3. 設置後の確認：AI クローラーが読めているか診断
ファイルをアップロードしただけでは、AI クローラーにブロックされているケースも多く、確認作業が必須です。
MY-BEST.AI が提供する**AI クローラー総合診断ツール**では、URL を入力するだけで下記を一括チェック可能です。
- 254 種類の AI クローラーのアクセス可否
- llms.txt/robots.txt の存在・記述チェック
- AEO 上の改善点レポート出力
[MY-BEST.AI AI クローラー総合診断](https://my-best.ai/)
Web 担当者や SEO/AEO コンサルの方は、自社サイト・顧客サイトの診断にご活用ください。
## 4. よくある失敗例
1. llms.txt をサブディレクトリに置いている → ドメイン直下でないと読まれない
2. robots.txt で GPTBot 等をブロックしたまま llms.txt を設置 → AI がアクセスできない
3. llms.txt に全ページを大量に記載 → 重要ページの優先度が下がる
## まとめ
AEO 対策の第一歩は、AI クローラーのアクセス許可と llms.txt の正しい設置です。
技術的な実装は難しくありませんが、設定ミスで AI 検索の機会を逃しているサイトが非常に多いです。
自社サイトの AEO 状況をまず診断し、改善を進めていきましょう。
## プロフィール
MY-BEST.AI は日本企業向け AI ツールの実機比較メディアです。AEO 診断ツールを無料提供し、Web 担当者・EC 事業者の AI 活用を支援しています。
### 操作手順（画面上で）
1. 一番上の「タイトルを入力してください」の枠に、タイトル文字列をコピペ
2. その下のタグ入力欄に `AEO llms.txt AIクローラー SEO Web開発` 貼り付け
3. 大きな「本文」エリアに、上記Markdown全文を一括貼り付け
4. 右上「下書き保存」で一旦保存、プレビューボタンで見た目確認
5. 問題なければ「公開設定」から投稿
> ポイント：Qiita内に外部リンクは1箇所だけ入れているので規約に安心。
> 投稿者名はプロフィールを「MY-BEST.AI（池田 大将）」に事前設定しておくと良い。