AI向けrobots.txtジェネレーター
AIエージェント向けに最適化されたrobots.txtファイルを生成します。許可またはブロックするボットを選択し、Content-Signalディレクティブを設定して、結果をダウンロードします。
AIボット
各AIボットがサイトにアクセスする方法を選択します。デフォルトでは、そのボットに対する特定のルールは生成されません。
GPTBot
OpenAI — ChatGPT
ChatGPT-User
OpenAI — ChatGPT browsing
ClaudeBot
Anthropic — Claude
Claude-Web
Anthropic — Claude web search
PerplexityBot
Perplexity — Perplexity AI
Google-Extended
Google — Gemini
Bytespider
ByteDance — TikTok / Doubao
CCBot
Common Crawl — Training data
Amazonbot
Amazon — Alexa / Rufus
FacebookBot
Meta — Meta AI
cohere-ai
Cohere — Cohere models
Applebot-Extended
Apple — Apple Intelligence
|
|
Content-Signalディレクティブ
AIエージェントがコンテンツをどのように使用できるかを制御します。これらのディレクティブはrobots.txtのグローバルセクションに追加されます。
AIによる検索インデックスを許可
AI入力/コンテキストとしての使用を許可
AIトレーニング用の使用を許可
追加設定
秒
生成されたrobots.txt
許可済み, ブロック済み, bytesAI向けrobots.txtとは？
robots.txtはウェブクローラーにアクセス可能なページを指示する標準ファイルです。AIエージェントが主要なトラフィック源となる中、GPTBot、ClaudeBot、PerplexityBotなどのAIボット向けに特定のルールでrobots.txtを設定することが重要です。Content-Signalディレクティブにより、AIエージェントがコンテンツをどのように使用できるかを指定できます。