AI向けrobots.txtジェネレーター
AIエージェント向けに最適化されたrobots.txtファイルを生成します。許可またはブロックするボットを選択し、Content-Signalディレクティブを設定して、結果をダウンロードします。
AIボット
各AIボットがサイトにアクセスする方法を選択します。デフォルトでは、そのボットに対する特定のルールは生成されません。
GPTBot
OpenAI — Model training
OAI-SearchBot
OpenAI — ChatGPT search results
ChatGPT-User
OpenAI — ChatGPT user browsing
OAI-AdsBot
OpenAI — ChatGPT ads validation
ClaudeBot
Anthropic — Model training
Claude-SearchBot
Anthropic — Claude search results
Claude-User
Anthropic — Claude user browsing
PerplexityBot
Perplexity — Perplexity search index
Perplexity-User
Perplexity — Perplexity user browsing
Google-Extended
Google — Gemini training opt-out
Google-CloudVertexBot
Google — Vertex AI agents
meta-externalagent
Meta — Meta AI training
MistralAI-User
Mistral — Le Chat user browsing
DuckAssistBot
DuckDuckGo — DuckAssist answers
Applebot-Extended
Apple — Apple Intelligence training opt-out
Amazonbot
Amazon — Alexa / Rufus
Bytespider
ByteDance — TikTok / Doubao training
CCBot
Common Crawl — Open crawl corpus
Claude-Web
Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot
Meta — Retired — use meta-externalagent
cohere-ai
Cohere — Never vendor-documented
|
|
Content-Signalディレクティブ
AIエージェントがコンテンツをどのように使用できるかを制御します。これらのディレクティブはrobots.txtのグローバルセクションに追加されます。
AIによる検索インデックスを許可
AI入力/コンテキストとしての使用を許可
AIトレーニング用の使用を許可
追加設定
秒
生成されたrobots.txt
許可済み, ブロック済み, bytesAI向けrobots.txtとは？
robots.txtはウェブクローラーにアクセス可能なページを指示する標準ファイルです。AIエージェントが主要なトラフィック源となる中、GPTBot、ClaudeBot、PerplexityBotなどのAIボット向けに特定のルールでrobots.txtを設定することが重要です。Content-Signalディレクティブにより、AIエージェントがコンテンツをどのように使用できるかを指定できます。