robots.txt Checker für KI
Analysieren Sie Ihre robots.txt-Datei, um zu sehen, welche KI-Bots auf Ihre Website zugreifen können. Prüfen Sie Content-Signal-Direktiven, Sitemap-Deklarationen und erhalten Sie eine detaillierte Bewertung.
Wir rufen /robots.txt von dieser Domain ab und analysieren sie für KI-Bot-Zugang.
Analyseergebnisse
Gültige robots.txt mit KI-Bot-Regeln Ungültige oder leere robots.txt
/ Prüfungen bestanden
KI-Bot-Status
| Bot | Unternehmen | Status | Regeln |
|---|---|---|---|
Prüfungen bestanden
Details
- Content-Signal:
- Nicht gefunden
- Richtlinienkommentar:
- Ja Nein
- Sitemaps:
- Nicht gefunden
- Statistiken:
- lines, bytes
Rohinhalt
Was ist robots.txt für KI?
robots.txt ist eine Standarddatei im Stammverzeichnis jeder Website, die Webcrawlern mitteilt, auf welche Seiten sie zugreifen können. Mit dem Aufkommen von KI-Agenten wie GPTBot (OpenAI), ClaudeBot (Anthropic) und PerplexityBot ist es wichtig, spezifische Regeln für diese Bots zu konfigurieren.
Content-Signal-Direktiven ermöglichen es, festzulegen, wie KI-Agenten Ihre Inhalte nutzen dürfen: search=yes erlaubt die Suchindexierung, ai-input=yes erlaubt die Nutzung als KI-Kontext, und ai-train=no blockiert die Nutzung für das Training.
Dieses Tool prüft Ihre robots.txt anhand von 7 Kriterien einschließlich Bot-Zugänglichkeit, Content-Signal-Präsenz, Sitemap-Deklaration und Richtlinienkommentare.