robots.txt-Generator für KI

Erstellen Sie eine für KI-Agenten optimierte robots.txt-Datei. Wählen Sie, welche Bots erlaubt oder blockiert werden, konfigurieren Sie Content-Signal-Direktiven und laden Sie das Ergebnis herunter.

KI-Bots

Wählen Sie, wie jeder KI-Bot auf Ihre Website zugreifen kann. Standard bedeutet, dass keine spezifische Regel für diesen Bot generiert wird.

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Content-Signal-Direktiven

Steuern Sie, wie KI-Agenten Ihren Inhalt nutzen dürfen. Diese Direktiven werden dem globalen Abschnitt der robots.txt hinzugefügt.

Suchindexierung durch KI erlauben

Nutzung als KI-Eingabe/Kontext erlauben

Nutzung für KI-Training erlauben

Zusätzliche Einstellungen

Sekunden

Generierte robots.txt

erlaubt, blockiert, bytes 


        
        

          
          
        

      

    


    
    

      
Was ist robots.txt für KI?

      
robots.txt ist eine Standarddatei, die Web-Crawlern mitteilt, auf welche Seiten sie zugreifen können. Da KI-Agenten zu einer wichtigen Traffic-Quelle werden, ist es wichtig, robots.txt mit spezifischen Regeln für KI-Bots wie GPTBot, ClaudeBot und PerplexityBot zu konfigurieren. Content-Signal-Direktiven ermöglichen es, festzulegen, wie KI-Agenten Ihren Inhalt nutzen dürfen.

    


    
    

      ← Zurück zu Tools