Vérificateur robots.txt pour IA
Analysez votre fichier robots.txt pour voir quels bots IA peuvent accéder à votre site. Vérifiez les directives Content-Signal, les déclarations de sitemap et obtenez un score détaillé.
Nous récupérerons /robots.txt de ce domaine et l'analyserons pour l'accès des bots IA.
Résultats de l'analyse
robots.txt valide avec des règles pour bots IA robots.txt invalide ou vide
/ vérifications réussies
État des bots IA
| Bot | Entreprise | État | Règles |
|---|---|---|---|
vérifications réussies
Détails
- Content-Signal:
- Non trouvé
- Commentaire de politique:
- Oui Non
- Sitemaps:
- Non trouvé
- Statistiques:
- lines, bytes
Contenu brut
Qu'est-ce que robots.txt pour l'IA ?
robots.txt est un fichier standard à la racine de chaque site web qui indique aux robots quelles pages ils peuvent accéder. Avec l'essor des agents IA comme GPTBot (OpenAI), ClaudeBot (Anthropic) et PerplexityBot, il est essentiel de configurer des règles spécifiques pour ces bots.
Les directives Content-Signal permettent de spécifier comment les agents IA peuvent utiliser votre contenu : search=yes autorise l'indexation, ai-input=yes autorise l'utilisation comme contexte IA, et ai-train=no bloque l'utilisation pour l'entraînement.
Cet outil vérifie votre robots.txt sur 7 critères incluant l'accessibilité des bots, la présence de Content-Signal, la déclaration de sitemap et les commentaires de politique.