Verificatore robots.txt per IA
Analizza il tuo file robots.txt per vedere quali bot IA possono accedere al tuo sito. Verifica le direttive Content-Signal, le dichiarazioni sitemap e ottieni un punteggio dettagliato.
Recupereremo /robots.txt da questo dominio e lo analizzeremo per l'accesso dei bot IA.
Risultati dell'analisi
robots.txt valido con regole per bot IA robots.txt non valido o vuoto
/ verifiche superate
Stato dei bot IA
| Bot | Azienda | Stato | Regole |
|---|---|---|---|
verifiche superate
Dettagli
- Content-Signal:
- Non trovato
- Commento sulla politica:
- Sì No
- Sitemaps:
- Non trovato
- Statistiche:
- lines, bytes
Contenuto originale
Cos'è robots.txt per l'IA?
robots.txt è un file standard nella root di ogni sito web che indica ai crawler quali pagine possono accedere. Con l'ascesa degli agenti IA come GPTBot (OpenAI), ClaudeBot (Anthropic) e PerplexityBot, è essenziale configurare regole specifiche per questi bot.
Le direttive Content-Signal permettono di specificare come gli agenti IA possono utilizzare i tuoi contenuti: search=yes consente l'indicizzazione, ai-input=yes consente l'uso come contesto IA, e ai-train=no blocca l'uso per l'addestramento.
Questo strumento verifica il tuo robots.txt su 7 criteri tra cui accessibilità dei bot, presenza di Content-Signal, dichiarazione sitemap e commenti sulla politica.