Gerador de robots.txt para IA

Gere um arquivo robots.txt otimizado para agentes de IA. Selecione quais bots permitir ou bloquear, configure as diretivas Content-Signal e baixe o resultado.

Bots de IA

Escolha como cada bot de IA pode acessar seu site. Padrão significa que nenhuma regra específica é gerada para esse bot.

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Diretivas Content-Signal

Controle como os agentes de IA podem usar seu conteúdo. Essas diretivas são adicionadas à seção global do robots.txt.

Permitir indexação de busca por IA

Permitir uso como entrada/contexto de IA

Permitir uso para treinamento de IA

Configurações adicionais

segundos

robots.txt gerado

permitidos, bloqueados, bytes 


        
        

          
          
        

      

    


    
    

      
O que é robots.txt para IA?

      
robots.txt é um arquivo padrão que indica aos rastreadores web quais páginas podem acessar. Com os agentes de IA se tornando uma fonte importante de tráfego, é essencial configurar robots.txt com regras específicas para bots de IA como GPTBot, ClaudeBot e PerplexityBot. As diretivas Content-Signal permitem especificar como os agentes de IA podem usar seu conteúdo.

    


    
    

      ← Voltar às Ferramentas