So prüfen Sie, ob ChatGPT, Claude und Perplexity Ihre Website lesen können
Fragt jemand einen Assistenten nach Ihrem Unternehmen, passiert eines von zwei Dingen: Entweder weiß er bereits etwas aus den Trainingsdaten, Monate veraltet, oder er ruft Ihre Website in diesem Moment ab und liest sie.
Den zweiten Fall können Sie beeinflussen, und drei Dinge entscheiden, wie er ausgeht.
1. Lässt Ihre robots.txt sie herein?
KI-Unternehmen verwenden für verschiedene Aufgaben verschiedene User-Agents, und einen zu blockieren blockiert die anderen nicht. Diese sind derzeit relevant:
| User-Agent | Unternehmen | Aufgabe |
|---|---|---|
GPTBot |
OpenAI | Crawlt für das Training |
OAI-SearchBot |
OpenAI | Indexiert für die ChatGPT-Suche |
ChatGPT-User |
OpenAI | Holt eine Seite, weil ein Nutzer gerade fragt |
ClaudeBot |
Anthropic | Crawlt für das Training |
Claude-SearchBot |
Anthropic | Indexiert für die Suche |
Claude-User |
Anthropic | Holt im Auftrag einer Person |
PerplexityBot |
Perplexity | Indexiert für Antworten |
Perplexity-User |
Perplexity | Holt auf Anfrage |
Google-Extended |
Steuert Gemini-Training, nicht die Suche | |
Applebot-Extended |
Apple | Steuert das Training von Apple Intelligence |
CCBot |
Common Crawl | Speist viele weitere Datensätze |
Bytespider |
ByteDance | Crawlt für das Training |
Der Unterschied, über den fast alle stolpern: die Agents auf „-User" sind keine Crawler. Sie holen die Seite, weil eine Person gerade jetzt danach gefragt hat. GPTBot zu blockieren stoppt das Training. ChatGPT-User zu blockieren verhindert, dass ein möglicher Kunde eine Antwort über Sie bekommt. Die meisten Websites wollen das erste ohne das zweite.
Sehen Sie nach, was Sie tatsächlich ausliefern:
curl -s https://ihreseite.de/robots.txt
Lesen Sie es wie ein Bot: Ein Disallow: / unter User-agent: * sperrt jeden aus, der keine eigene Regel hat — also alle aus der Tabelle.
Eine Falle, die man kennen sollte. Wenn Sie hinter Cloudflare sitzen und keine eigene robots.txt haben, liefert Cloudflare unter Umständen eine für Sie aus: die verwaltete Content Signals Policy. Sie bekommen eine 200 und eine völlig plausibel aussehende Datei, die Sie nie geschrieben haben, ohne Ihre Regeln und ohne Ihre Sitemap. Genau das hatten wir monatelang: Unser Server lieferte 404 für /robots.txt, und niemandem fiel es auf, weil jede Prüfung eine 200 vom CDN bekam. Um beides zu unterscheiden, fragen Sie direkt Ihren Origin:
curl -sI https://ihreseite.de/robots.txt | grep -i "server\|cf-cache-status"
2. Übersteht Ihr Inhalt den Verzicht auf JavaScript?
Die meisten KI-Crawler führen kein JavaScript aus. Wird Ihre Seite im Browser zusammengebaut, erhalten sie eine leere Hülle.
curl -s https://ihreseite.de/ihre-seite | wc -c
curl -s https://ihreseite.de/ihre-seite | grep -o "<p>" | wc -l
Ein paar hundert Bytes und kein einziger Absatz heißt: Für einen Crawler ist die Seite leer, so gut sie im Browser auch aussieht. Serverseitiges Rendern, statische Generierung oder Prerendering beheben das; welches davon, ist fast egal.
3. Wie viel bleibt nach der Extraktion übrig?
Selbst abgerufen und gerendert wird die Seite ausgedünnt: Navigation, Fußzeile, Cookie-Banner und fast das gesamte Markup fliegen raus, und übrig bleibt, was nach Inhalt aussieht. Genau dieser Rest wird über Sie zitiert.
Das ist der Teil, den niemand prüft, und dort liegt meist die Überraschung. Am schnellsten sehen Sie es, indem Sie Ihre Seite so lesen, wie ein Agent sie behalten würde: als reinen Text, ohne Gerüst. Bleiben zwei Sätze und eine Liste von Menüpunkten, hilft keine noch so gute robots.txt.
Ebenfalls sinnvoll
llms.txt im Wurzelverzeichnis: eine kurze Markdown-Karte Ihrer wichtigen Seiten. Eine junge Konvention, kein Standard, den irgendwer einhalten müsste — aber sie kostet fast nichts und sie wird gelesen.
Content-Signal, womit Sie sagen können, was mit Ihrem Inhalt geschehen darf: für die Suche indexiert, als Grundlage einer Antwort verwendet, fürs Training genutzt. Nicht nur, ob er abgerufen werden darf. Alles zu blockieren ist nicht die einzige Option und für die meisten Unternehmen die falsche.
Sauberes semantisches HTML. Echte Überschriften, <article>, <main>, Alt-Texte. Dieselbe Arbeit, die Screenreadern hilft — und genau die sorgt dafür, dass die Extraktion das Richtige behält.
Kurzfassung
Führen Sie diese drei aus, in dieser Reihenfolge:
curl -s https://ihreseite.de/robots.txt— dürfen sie herein?curl -s https://ihreseite.de/seite | wc -c— ist ohne JavaScript etwas da?- Lesen Sie, was die Extraktion übrig lässt — ist das, was Sie zitiert sehen wollen?
Die meisten Websites bestehen die erste, scheitern an der dritten und erfahren es nie.
Website prüfen · robots.txt für KI-Bots · Sind die Bots zugelassen?