Generador de robots.txt para IA

Genera un archivo robots.txt optimizado para agentes de IA. Selecciona qué bots permitir o bloquear, configura las directivas Content-Signal y descarga el resultado.

Bots de IA

Elige cómo cada bot de IA puede acceder a tu sitio. Por defecto no se genera ninguna regla específica para ese bot.

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Directivas Content-Signal

Controla cómo los agentes de IA pueden usar tu contenido. Estas directivas se añaden a la sección global del robots.txt.

Permitir indexación de búsqueda por IA

Permitir uso como entrada/contexto de IA

Permitir uso para entrenamiento de IA

Configuración adicional

segundos

robots.txt generado

permitidos, bloqueados, bytes 


        
        

          
          
        

      

    


    
    

      
¿Qué es robots.txt para IA?

      
robots.txt es un archivo estándar que indica a los rastreadores web qué páginas pueden acceder. Con los agentes de IA siendo una fuente importante de tráfico, es esencial configurar robots.txt con reglas específicas para bots de IA como GPTBot, ClaudeBot y PerplexityBot. Las directivas Content-Signal permiten especificar cómo los agentes de IA pueden usar tu contenido para búsqueda, entrada o entrenamiento.

    


    
    

      ← Volver a Herramientas