Häufig gestellte Fragen

Alles, was Sie über KI-Bereitschaft, llms.txt und die Optimierung Ihrer Website für KI-Agenten wissen müssen.

Grundlagen der KI-Bereitschaft

KI-Bereitschaft misst, wie gut die Inhalte Ihrer Website von KI-Agenten wie ChatGPT, Claude und Perplexity verstanden, extrahiert und genutzt werden können. Da KI-gestützte Tools zu einer wichtigen Quelle für Web-Traffic werden, werden KI-bereite Websites genauer zitiert, erscheinen häufiger in KI-generierten Antworten und kosten weniger Tokens bei der Verarbeitung.

Im Gegensatz zu Webbrowsern, die HTML visuell rendern, müssen KI-Agenten Textinhalte aus Ihren Seiten extrahieren. Sie bevorzugen saubere, gut strukturierte Inhalte gegenüber komplexem HTML mit aufwändigem Styling. Eine gut strukturierte Seite, die in Markdown konvertiert wird, verwendet 70-80% weniger Tokens als rohes HTML, was sie günstiger und effizienter für KI-Anbieter macht.

Zu den wichtigsten KI-Crawlern gehören GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic/Claude), PerplexityBot (Perplexity), Google-Extended (Google Gemini), Bytespider (ByteDance), CCBot (Common Crawl) und viele weitere. Neue KI-Agenten erscheinen regelmäßig, da das Ökosystem wächst.

llms.txt

llms.txt ist ein aufkommender Standard (definiert auf llmstxt.org), der KI-Agenten hilft, die Struktur Ihrer Website zu verstehen. Ähnlich wie robots.txt Suchmaschinen-Crawler leitet, bietet llms.txt einen Markdown-formatierten Überblick über Ihre Website mit Links zu wichtigen Seiten, sodass KI-Agenten leicht durch Ihre Inhalte navigieren können.

llms.txt ist ein kompakter Index mit einer Beschreibung und Links zu den Hauptseiten Ihrer Website. llms-full.txt ist eine erweiterte Version, die den tatsächlichen Inhalt dieser Seiten inline enthält, sodass KI-Agenten alles in einer einzigen Datei erhalten, ohne Links folgen zu müssen. Verwenden Sie llms.txt als Minimum und llms-full.txt für umfassende Abdeckung.

Erstellen Sie eine Textdatei im Stammverzeichnis Ihrer Domain (z.B. example.com/llms.txt) gemäß der llmstxt.org-Spezifikation. Beginnen Sie mit einer # Überschrift (Ihr Website-Name), fügen Sie eine Blockquote-Beschreibung hinzu und listen Sie dann Links auf, die in Abschnitten wie ## Documentation und ## Main organisiert sind. AgentReady kann eine empfohlene llms.txt basierend auf Ihrer Seitenanalyse generieren.

Markdown für KI

Markdown ist das bevorzugte Format für KI-Agenten, weil es die Inhaltsstruktur (Überschriften, Listen, Links, Hervorhebungen) bewahrt und gleichzeitig visuelles Markup-Rauschen (CSS, JavaScript, Layout-Divs) eliminiert. Eine Markdown-Version Ihrer Inhalte verwendet deutlich weniger Tokens, was die Verarbeitung durch KI-Systeme schneller und günstiger macht.

Inhaltsverhandlung ermöglicht es Ihrem Server, verschiedene Formate derselben Seite basierend auf dem Accept-Header des Clients auszuliefern. Wenn ein KI-Agent Accept: text/markdown sendet, kann Ihr Server mit einer Markdown-Version statt HTML antworten. Dies ist der effizienteste Weg, KI-freundliche Inhalte bereitzustellen, ohne separate URLs erstellen zu müssen.

Es gibt zwei Hauptansätze: (1) Serverlogik hinzufügen, um Accept: text/markdown-Header zu erkennen und Markdown-Inhalte zurückzugeben; (2) .md-Dateien neben Ihren Seiten erstellen (z.B. /about.md für /about) und diese in Ihrer llms.txt verlinken. AgentReady nutzt beide Ansätze für seine eigenen Seiten.

Strukturierte Daten & JSON-LD

JSON-LD (JavaScript Object Notation for Linked Data) ist eine Methode, strukturierte Daten mithilfe des Schema.org-Vokabulars in Ihre Seiten einzubetten. KI-Agenten nutzen diese Daten, um faktische, maschinenlesbare Informationen wie Produktdetails, Artikelmetadaten, Organisationsinformationen und mehr zu extrahieren — ohne Ihr HTML parsen zu müssen.

Verwenden Sie den spezifischsten Typ, der zu Ihrem Inhalt passt: Article oder BlogPosting für Artikel, Product für Produktseiten, Organization für Unternehmensseiten, FAQPage für FAQ-Seiten, LocalBusiness für lokale Unternehmen und WebApplication für Web-Tools. Fügen Sie immer name, description und relevante Eigenschaften für Ihren gewählten Typ hinzu.

Open-Graph-Tags (og:title, og:description, og:image) bieten standardisierte Metadaten, die sowohl soziale Plattformen als auch KI-Agenten verwenden, um Titel, Beschreibung und Hauptbild Ihrer Seite zu verstehen. Sie sind einfach zu implementieren und dienen als zuverlässiger Fallback, wenn andere strukturierte Daten fehlen.

robots.txt & KI-Bots

robots.txt steuert, welche Bots auf Ihre Website zugreifen und welche Seiten sie crawlen können. KI-Crawler wie GPTBot und ClaudeBot respektieren robots.txt-Anweisungen. Wenn Ihre robots.txt diese Bots blockiert, können sie Ihre Inhalte nicht indexieren, was bedeutet, dass Ihre Website nicht in KI-generierten Antworten erscheint.

Um die Sichtbarkeit in KI-generierten Antworten zu maximieren, erlauben Sie mindestens: GPTBot (OpenAI), ClaudeBot und Claude-Web (Anthropic), PerplexityBot (Perplexity) und Google-Extended (Google Gemini). Sie können spezifische Allow-Regeln für diese User-Agents hinzufügen, während Sie Ihre bestehenden Regeln für andere Bots beibehalten.

Content-Signal ist ein HTTP-Header, der KI-Agenten mitteilt, wie sie Ihre Inhalte verwenden dürfen. Zum Beispiel: Content-Signal: ai-train=yes, search=yes, ai-input=yes signalisiert, dass Ihre Inhalte für KI-Training, Suchindexierung und als Eingabe für KI-Antworten verwendet werden dürfen. Dies ist ein neuerer Standard, der Publishern explizite Kontrolle über die KI-Nutzung gibt.

AgentReady-Bewertung

AgentReady ruft Ihre Seite ab, extrahiert den Inhalt und führt 23 Einzelprüfungen in 5 gewichteten Dimensionen durch. Jede Prüfung bewertet 0-100, und die Dimensionen werden zu einem Gesamtscore von 0 bis 100 kombiniert. Sie erhalten eine Buchstabennote (A-F), eine detaillierte Aufschlüsselung und priorisierte Empfehlungen zur Verbesserung Ihres Scores.

Die 5 Dimensionen sind: Semantisches HTML (15%) — korrekte Verwendung von article, main, Überschriften und semantischen Elementen; Inhaltseffizienz (10%) — Token-Reduktionsverhältnis und Inhalt-zu-Rausch-Verhältnis; KI-Auffindbarkeit (25%) — llms.txt, robots.txt, Sitemap und Markdown-Verhandlung; Strukturierte Daten (20%) — Schema.org, Open Graph und Meta-Tags; Zugänglichkeit (30%) — Inhalt ohne JavaScript, Seitengröße und Inhaltsposition.

Ja! Die Einzelseitenanalyse ist völlig kostenlos und ohne Registrierung verfügbar. Sie erhalten den vollständigen Score, Empfehlungen, Markdown-Konvertierung und llms.txt-Vorschau. Wir sind derzeit in der Beta mit einem Limit von 5 Analysen pro Stunde. Vollständiger Domain-Crawl und Monitoring-Funktionen kommen bald.

Was sich geändert hat

Wir prüfen 18 Crawler, und jeder verweist auf die eigene Dokumentation seines Anbieters. Im Juli 2026 haben wir die Liste neu aufgebaut. Drei Einträge wurden entfernt: Claude-Web und FacebookBot tauchen in den Dokumentationen von Anthropic und Meta nicht mehr auf, und cohere-ai war nie dokumentiert — wir haben also empfohlen, Bots zu nennen, die es nicht gibt. Außerdem haben wir die fehlenden ergänzt, darunter OAI-SearchBot, den Crawler, der Ihre Website tatsächlich in die Suchergebnisse von ChatGPT bringt. Fremde Crawler-Listen verbreiten erfundene User-Agents (die von xAI/Grok sind ein bekannter Fall). Hier steht ein Bot nur dann, wenn sein Anbieter ihn dokumentiert.

Nein — und diese Unterscheidung ist das Nützlichste auf dieser Seite. Anbieter trennen ihre Crawler nach Zweck. Trainings-Bots (GPTBot, ClaudeBot, Google-Extended) lesen Ihre Seiten, um Modelle zu trainieren: Sie zu blockieren kostet Sie keinerlei Sichtbarkeit. Such-Bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) bauen den Index, aus dem der Assistent zitiert: Blockieren Sie einen, verschwinden Sie aus diesem Assistenten. Nutzer-Bots (ChatGPT-User, Claude-User) rufen eine Seite ab, weil ein Mensch sie gerade anfordert. Sie können Training ablehnen und trotzdem überall zitiert werden — aber nur, wenn Sie die Such-Bots zulassen. Wir kennzeichnen jetzt jeden Crawler nach Art, damit Sie bewusst entscheiden, statt alles mit einem Platzhalter zu blockieren.

Die A2A Agent Card gehört nach /.well-known/agent-card.json. Dorthin wurde sie in A2A v0.3.0 (August 2025) verschoben, und v1.0 behält das bei; /.well-known/agent.json ist ein veralteter Alias, den SDKs für alte Clients weiterhin ausliefern. Wir haben den alten Pfad geprüft — und erzeugt —, was bedeutete, einen Deskriptor dort zu veröffentlichen, wo aktuelle Agenten nicht suchen. Das ist behoben. Bei MCP lautet die ehrliche Antwort: Es gibt keinen Standardpfad. Die MCP-Spezifikation definiert überhaupt keine Well-known-Discovery-Datei, und Server Cards sind weiterhin ein offener Entwurf (SEP-1649), der /.well-known/mcp/server-card.json vorschlägt. Wir prüfen diesen Pfad und zusätzlich die ältere mcp.json-Konvention und kennzeichnen beide als Entwurf, statt etwas anderes vorzugeben. Was die MCP-Spezifikation tatsächlich verlangt, ist /.well-known/oauth-protected-resource (RFC 9728) — das prüfen wir jetzt.

Weil die Bewertung belohnte, was leicht zu prüfen ist, statt dessen, wovon wir die Wirkung belegen können. llms.txt — ein Vorschlag, zu dessen Umsetzung sich kein großer Anbieter verpflichtet hat — wog schwerer als Schema.org, das jeder Assistent tatsächlich auswertet. Rubrik v2 verlangt von jeder der 23 Prüfungen eine Angabe zur Beleglage: belegt (der Anbieter dokumentiert, dass er dies liest), plausibel (etablierte Web-Praxis, aber keine Anbieteraussage speziell zu KI) oder spekulativ (eine begründete Wette, mehr nicht). Die Gewichte folgen dem: Belegtes trägt jetzt 32 der 100 Punkte, Plausibles 51, Spekulatives 17. Wir prüfen llms.txt weiterhin — die Veröffentlichung kostet nichts und könnte noch relevant werden —, aber es steht nicht mehr über den Signalen, deren Wirkung nachweisbar ist. Jedes Ergebnis hält die Rubrikversion fest, die es erzeugt hat, sodass ein älterer Score an den Regeln gelesen werden kann, mit denen er gemessen wurde.

Wir messen es jetzt, und das hat ein Loch in unserer eigenen Bewertung offengelegt. Jede andere Prüfung liest eine Erklärung: Ihre robots.txt sagt, die Crawler dürfen passieren, also gab es die Punkte. Aber die robots.txt wird von Ihrem Origin ausgeliefert, und die Anfrage kommt dort nie an — Ihr CDN oder WAF antwortet zuerst, und es muss nicht zustimmen. Cloudflare blockiert seit dem 15. September 2026 KI-Crawler am Edge standardmäßig. Eine Website konnte eine tadellose robots.txt veröffentlichen, für jeden Assistenten geschlossen sein und bei uns die volle Punktzahl erhalten. Also haben wir aufgehört zu lesen und angefangen zu messen: Wir rufen Ihre Seite als gewöhnlicher Client ab, rufen sie erneut als OAI-SearchBot ab und vergleichen. Was wir beweisen können, hat Grenzen, und das sagen wir lieber, als zu viel zu behaupten. Unsere Probe kommt von unseren Servern, und Edges verifizieren Crawler über die IP-Adresse, nicht über den Namen — eine Ablehnung kann also Fälschern gelten, während der verifizierte Crawler durchkommt. Wir berichten genau, was wir gesehen haben, und verweisen auf Ihre Bot-Regeln. Wir sagen Ihnen nicht, dass Sie bei ChatGPT blockiert sind, denn von außen können wir das nicht wissen.

Nützliche Ressourcen