Générateur robots.txt pour IA

Générez un fichier robots.txt optimisé pour les agents IA. Sélectionnez quels bots autoriser ou bloquer, configurez les directives Content-Signal et téléchargez le résultat.

Bots IA

Choisissez comment chaque bot IA peut accéder à votre site. Par défaut, aucune règle spécifique n'est générée pour ce bot.

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Directives Content-Signal

Contrôlez comment les agents IA peuvent utiliser votre contenu. Ces directives sont ajoutées à la section globale du robots.txt.

Autoriser l'indexation par l'IA

Autoriser l'utilisation comme entrée/contexte IA

Autoriser l'utilisation pour l'entraînement IA

Paramètres supplémentaires

secondes

robots.txt généré

autorisés, bloqués, bytes 


        
        

          
          
        

      

    


    
    

      
Qu'est-ce que robots.txt pour l'IA ?

      
robots.txt est un fichier standard qui indique aux robots d'exploration quelles pages ils peuvent accéder. Avec les agents IA devenant une source majeure de trafic, il est essentiel de configurer robots.txt avec des règles spécifiques pour les bots IA comme GPTBot, ClaudeBot et PerplexityBot. Les directives Content-Signal permettent de spécifier comment les agents IA peuvent utiliser votre contenu.

    


    
    

      ← Retour aux Outils