AI robots.txt 生成器

生成针对AI代理优化的robots.txt文件。选择允许或阻止哪些机器人，配置Content-Signal指令并下载结果。

AI机器人

选择每个AI机器人如何访问您的网站。默认表示不会为该机器人生成特定规则。

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Content-Signal 指令

控制AI代理如何使用您的内容。这些指令添加到robots.txt的全局部分。

允许AI搜索索引

允许作为AI输入/上下文使用

允许用于AI训练

附加设置

秒

生成的robots.txt

已允许, 已阻止, bytes 


        
        

          
          
        

      

    


    
    

      
什么是AI robots.txt？

      
robots.txt是一个标准文件，用于告诉网络爬虫可以访问哪些页面。随着AI代理成为主要流量来源，使用针对GPTBot、ClaudeBot和PerplexityBot等AI机器人的特定规则配置robots.txt至关重要。Content-Signal指令允许您指定AI代理如何使用您的内容。

    


    
    

      ← 返回工具