Verificador de Compatibilidade com AI Crawlers

Os bots de IA conseguem ver seu site? Insira uma URL para verificar a compatibilidade com 12 crawlers de IA. Analisamos robots.txt, cabeçalhos X-Robots-Tag e meta tags robots para fornecer uma visão completa.

Buscaremos o robots.txt e a página para analisar as 3 camadas de controle de acesso.

Compatibilidade com AI Crawlers

Pontuação

Acessível Restrito Bloqueado

Compatibilidade por Bot de IA

Camadas de Controle de Acesso

robots.txt

Nenhuma restrição encontrada Não encontrado

Cabeçalho X-Robots-Tag

Encontrado Não detectado

Meta Tags Robots

Encontrado Não detectado

Content-Signal

Não detectado

Verificações

Sitemaps

O que são AI crawlers?

AI crawlers são bots automatizados usados por empresas como OpenAI, Anthropic, Google e outras para descobrir e indexar conteúdo web para produtos de IA. Assim como os crawlers de motores de busca (Googlebot), os AI crawlers respeitam diretivas robots.txt, cabeçalhos X-Robots-Tag e tags <meta> robots.

Três camadas de controle de acesso:
robots.txt — Controla quais bots podem acessar quais caminhos no seu site (nível de site).
X-Robots-Tag — Cabeçalho HTTP que controla a indexação no nível de página ou recurso.
Meta robots — Tags HTML que controlam a indexação por página, com substituições específicas por bot.

Esta ferramenta verifica as 3 camadas simultaneamente para 12 principais crawlers de IA, fornecendo uma visão unificada de compatibilidade.

Saiba mais sobre robots.txt e meta tags robots.