Comprobador de compatibilidad con crawlers de IA
¿Los bots de IA pueden ver tu sitio web? Introduce una URL para comprobar la compatibilidad con 12 crawlers de IA. Analizamos robots.txt, cabeceras X-Robots-Tag y meta robots tags para darte una visión completa.
Obtendremos el robots.txt y la página para analizar las 3 capas de control de acceso.
Compatibilidad con crawlers de IA
Puntuación
Compatibilidad de bots de IA
Capas de control de acceso
No se encontraron restricciones No encontrado
Encontrado No detectado
Encontrado No detectado
No detectado
Comprobaciones
Sitemaps
¿Qué son los crawlers de IA?
Los crawlers de IA son bots automatizados utilizados por empresas como OpenAI, Anthropic, Google y otras para descubrir e indexar contenido web para productos de IA. Al igual que los crawlers de motores de búsqueda (Googlebot), los crawlers de IA respetan las directivas de robots.txt, las cabeceras X-Robots-Tag y las etiquetas <meta> robots.
Tres capas de control de acceso:robots.txt — Controla qué bots pueden acceder a qué rutas de tu sitio (a nivel de sitio).X-Robots-Tag — Cabecera HTTP que controla la indexación a nivel de página o recurso.Meta robots — Etiquetas HTML que controlan la indexación por página, con reglas específicas por bot.
Esta herramienta comprueba las 3 capas simultáneamente para 12 crawlers de IA principales, ofreciéndote una vista unificada de compatibilidad.
Más información sobre robots.txt y meta robots tags.