AI robots.txt 生成器

生成针对AI代理优化的robots.txt文件。选择允许或阻止哪些机器人，配置Content-Signal指令并下载结果。

AI机器人

选择每个AI机器人如何访问您的网站。默认表示不会为该机器人生成特定规则。

GPTBot OpenAI — ChatGPT
ChatGPT-User OpenAI — ChatGPT browsing
ClaudeBot Anthropic — Claude
Claude-Web Anthropic — Claude web search
PerplexityBot Perplexity — Perplexity AI
Google-Extended Google — Gemini
Bytespider ByteDance — TikTok / Doubao
CCBot Common Crawl — Training data
Amazonbot Amazon — Alexa / Rufus
FacebookBot Meta — Meta AI
cohere-ai Cohere — Cohere models
Applebot-Extended Apple — Apple Intelligence
| |

Content-Signal 指令

控制AI代理如何使用您的内容。这些指令添加到robots.txt的全局部分。

允许AI搜索索引

允许作为AI输入/上下文使用

允许用于AI训练

附加设置

秒

生成的robots.txt

已允许, 已阻止, bytes 


        
        

          
          
        

      

    


    
    

      
什么是AI robots.txt？

      
robots.txt是一个标准文件，用于告诉网络爬虫可以访问哪些页面。随着AI代理成为主要流量来源，使用针对GPTBot、ClaudeBot和PerplexityBot等AI机器人的特定规则配置robots.txt至关重要。Content-Signal指令允许您指定AI代理如何使用您的内容。

    


    
    

      ← 返回工具