Vérificateur de compatibilité des crawlers IA
Les bots IA peuvent-ils voir votre site web ? Entrez une URL pour vérifier la compatibilité avec 12 crawlers IA. Nous analysons robots.txt, les en-têtes X-Robots-Tag et les balises meta robots pour vous donner une vue complète.
Nous récupérerons le robots.txt et la page pour analyser les 3 couches de contrôle d'accès.
Compatibilité des crawlers IA
Score
Compatibilité des bots IA
Couches de contrôle d'accès
Aucune restriction trouvée Non trouvé
Trouvé Non détecté
Trouvé Non détecté
Non détecté
Vérifications
Sitemaps
Que sont les crawlers IA ?
Les crawlers IA sont des bots automatisés utilisés par des entreprises comme OpenAI, Anthropic, Google et d'autres pour découvrir et indexer le contenu web pour les produits d'IA. Tout comme les crawlers de moteurs de recherche (Googlebot), les crawlers IA respectent les directives robots.txt, les en-têtes X-Robots-Tag et les balises <meta> robots.
Trois couches de contrôle d'accès :robots.txt — Contrôle quels bots peuvent accéder à quels chemins de votre site (au niveau du site).X-Robots-Tag — En-tête HTTP qui contrôle l'indexation au niveau de la page ou de la ressource.Meta robots — Balises HTML qui contrôlent l'indexation par page, avec des règles spécifiques par bot.
Cet outil vérifie les 3 couches simultanément pour 12 crawlers IA majeurs, vous offrant une vue unifiée de la compatibilité.
En savoir plus sur robots.txt et les balises meta robots.