Générateur robots.txt pour IA

Générez un fichier robots.txt optimisé pour les agents IA. Sélectionnez quels bots autoriser ou bloquer, configurez les directives Content-Signal et téléchargez le résultat.

Bots IA

Choisissez comment chaque bot IA peut accéder à votre site. Par défaut, aucune règle spécifique n'est générée pour ce bot.

GPTBot OpenAI — ChatGPT
ChatGPT-User OpenAI — ChatGPT browsing
ClaudeBot Anthropic — Claude
Claude-Web Anthropic — Claude web search
PerplexityBot Perplexity — Perplexity AI
Google-Extended Google — Gemini
Bytespider ByteDance — TikTok / Doubao
CCBot Common Crawl — Training data
Amazonbot Amazon — Alexa / Rufus
FacebookBot Meta — Meta AI
cohere-ai Cohere — Cohere models
Applebot-Extended Apple — Apple Intelligence
| |

Directives Content-Signal

Contrôlez comment les agents IA peuvent utiliser votre contenu. Ces directives sont ajoutées à la section globale du robots.txt.

Autoriser l'indexation par l'IA

Autoriser l'utilisation comme entrée/contexte IA

Autoriser l'utilisation pour l'entraînement IA

Paramètres supplémentaires

secondes

robots.txt généré

autorisés, bloqués, bytes 


        
        

          
          
        

      

    


    
    

      
Qu'est-ce que robots.txt pour l'IA ?

      
robots.txt est un fichier standard qui indique aux robots d'exploration quelles pages ils peuvent accéder. Avec les agents IA devenant une source majeure de trafic, il est essentiel de configurer robots.txt avec des règles spécifiques pour les bots IA comme GPTBot, ClaudeBot et PerplexityBot. Les directives Content-Signal permettent de spécifier comment les agents IA peuvent utiliser votre contenu.

    


    
    

      ← Retour aux Outils