Verificador de robots.txt para IA
Analise seu arquivo robots.txt para ver quais bots de IA podem acessar seu site. Verifique diretivas Content-Signal, declarações de sitemap e obtenha uma pontuação detalhada.
Buscaremos /robots.txt deste domínio e analisaremos para acesso de bots de IA.
Resultados da análise
robots.txt válido com regras para bots de IA robots.txt inválido ou vazio
/ verificações aprovadas
Status dos bots de IA
| Bot | Empresa | Status | Regras |
|---|---|---|---|
verificações aprovadas
Detalhes
- Content-Signal:
- Não encontrado
- Comentário de política:
- Sim Não
- Sitemaps:
- Não encontrado
- Estatísticas:
- lines, bytes
Conteúdo original
O que é robots.txt para IA?
robots.txt é um arquivo padrão na raiz de cada site que indica aos rastreadores quais páginas podem acessar. Com o surgimento de agentes de IA como GPTBot (OpenAI), ClaudeBot (Anthropic) e PerplexityBot, é essencial configurar regras específicas para esses bots.
As diretivas Content-Signal permitem especificar como os agentes de IA podem usar seu conteúdo: search=yes permite a indexação, ai-input=yes permite o uso como contexto de IA, e ai-train=no bloqueia o uso para treinamento.
Esta ferramenta verifica seu robots.txt em 7 critérios incluindo acessibilidade de bots, presença de Content-Signal, declaração de sitemap e comentários de política.