Comprobador de robots.txt para IA
Analiza tu archivo robots.txt para ver qué bots de IA pueden acceder a tu sitio. Comprueba directivas Content-Signal, declaraciones de sitemap y obtén una puntuación detallada.
Obtendremos /robots.txt de este dominio y lo analizaremos para acceso de bots de IA.
Resultados del análisis
robots.txt válido con reglas para bots de IA robots.txt inválido o vacío
/ comprobaciones superadas
Estado de bots de IA
| Bot | Empresa | Estado | Reglas |
|---|---|---|---|
comprobaciones superadas
Detalles
- Content-Signal:
- No encontrado
- Comentario de política:
- Sí No
- Sitemaps:
- No encontrado
- Estadísticas:
- lines, bytes
Contenido original
¿Qué es robots.txt para IA?
robots.txt es un archivo estándar en la raíz de cada sitio web que indica a los rastreadores qué páginas pueden acceder. Con el auge de agentes de IA como GPTBot (OpenAI), ClaudeBot (Anthropic) y PerplexityBot, es esencial configurar reglas específicas para estos bots.
Las directivas Content-Signal permiten especificar cómo los agentes de IA pueden usar tu contenido: search=yes permite la indexación, ai-input=yes permite el uso como contexto de IA, y ai-train=no bloquea el uso para entrenamiento.
Esta herramienta comprueba tu robots.txt en 7 criterios incluyendo accesibilidad de bots, presencia de Content-Signal, declaración de sitemap y comentarios de política.