Generatore robots.txt per IA

Genera un file robots.txt ottimizzato per gli agenti IA. Seleziona quali bot autorizzare o bloccare, configura le direttive Content-Signal e scarica il risultato.

Bot IA

Scegli come ogni bot IA può accedere al tuo sito. Predefinito significa che non viene generata alcuna regola specifica per quel bot.

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Direttive Content-Signal

Controlla come gli agenti IA possono utilizzare i tuoi contenuti. Queste direttive vengono aggiunte alla sezione globale del robots.txt.

Consenti indicizzazione di ricerca da IA

Consenti uso come input/contesto IA

Consenti uso per addestramento IA

Impostazioni aggiuntive

secondi

robots.txt generato

autorizzati, bloccati, bytes 


        
        

          
          
        

      

    


    
    

      
Cos'è robots.txt per l'IA?

      
robots.txt è un file standard che indica ai crawler web quali pagine possono accedere. Con gli agenti IA che diventano una fonte importante di traffico, è essenziale configurare robots.txt con regole specifiche per bot IA come GPTBot, ClaudeBot e PerplexityBot. Le direttive Content-Signal permettono di specificare come gli agenti IA possono utilizzare i tuoi contenuti.

    


    
    

      ← Torna agli Strumenti