Generador de robots.txt para IA

Genera un archivo robots.txt optimizado para agentes de IA. Selecciona qué bots permitir o bloquear, configura las directivas Content-Signal y descarga el resultado.

Bots de IA

Elige cómo cada bot de IA puede acceder a tu sitio. Por defecto no se genera ninguna regla específica para ese bot.

GPTBot OpenAI — ChatGPT
ChatGPT-User OpenAI — ChatGPT browsing
ClaudeBot Anthropic — Claude
Claude-Web Anthropic — Claude web search
PerplexityBot Perplexity — Perplexity AI
Google-Extended Google — Gemini
Bytespider ByteDance — TikTok / Doubao
CCBot Common Crawl — Training data
Amazonbot Amazon — Alexa / Rufus
FacebookBot Meta — Meta AI
cohere-ai Cohere — Cohere models
Applebot-Extended Apple — Apple Intelligence
| |

Directivas Content-Signal

Controla cómo los agentes de IA pueden usar tu contenido. Estas directivas se añaden a la sección global del robots.txt.

Permitir indexación de búsqueda por IA

Permitir uso como entrada/contexto de IA

Permitir uso para entrenamiento de IA

Configuración adicional

segundos

robots.txt generado

permitidos, bloqueados, bytes 


        
        

          
          
        

      

    


    
    

      
¿Qué es robots.txt para IA?

      
robots.txt es un archivo estándar que indica a los rastreadores web qué páginas pueden acceder. Con los agentes de IA siendo una fuente importante de tráfico, es esencial configurar robots.txt con reglas específicas para bots de IA como GPTBot, ClaudeBot y PerplexityBot. Las directivas Content-Signal permiten especificar cómo los agentes de IA pueden usar tu contenido para búsqueda, entrada o entrenamiento.

    


    
    

      ← Volver a Herramientas