AI向けrobots.txtチェッカー
robots.txtファイルを分析して、どのAIボットがサイトにアクセスできるかを確認します。Content-Signalディレクティブ、サイトマップ宣言を確認し、詳細なスコアを取得します。
このドメインから/robots.txtを取得し、AIボットアクセスについて分析します。
分析結果
AIボットルールのある有効なrobots.txt 無効または空のrobots.txt
/ チェック合格
許可
ブロック
デフォルト
AIボットのステータス
| ボット | 企業 | ステータス | ルール |
|---|---|---|---|
チェック合格
詳細
- Content-Signal:
- 見つかりません
- ポリシーコメント:
- はい いいえ
- Sitemaps:
- 見つかりません
- 統計:
- lines, bytes
生のコンテンツ
AI向けrobots.txtとは？
robots.txtはウェブサイトのルートにある標準ファイルで、クローラーがアクセスできるページを示します。GPTBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBotなどのAIエージェントの台頭により、これらのボット用の特定のルールを設定することが不可欠です。
Content-Signalディレクティブにより、AIエージェントがコンテンツをどのように使用できるかを指定できます：search=yesは検索インデックスを許可、ai-input=yesはAIコンテキストとしての使用を許可、ai-train=noはトレーニング用の使用をブロックします。
このツールは、ボットのアクセス可能性、Content-Signalの存在、サイトマップ宣言、ポリシーコメントを含む7つの基準でrobots.txtを確認します。