Генератор robots.txt для ИИ

Создайте файл robots.txt, оптимизированный для ИИ-агентов. Выберите, каких ботов разрешить или заблокировать, настройте директивы Content-Signal и скачайте результат.

ИИ-боты

Выберите, как каждый ИИ-бот может получить доступ к вашему сайту. По умолчанию для этого бота не генерируется специальное правило.

GPTBot OpenAI — Model training
OAI-SearchBot OpenAI — ChatGPT search results
ChatGPT-User OpenAI — ChatGPT user browsing
OAI-AdsBot OpenAI — ChatGPT ads validation
ClaudeBot Anthropic — Model training
Claude-SearchBot Anthropic — Claude search results
Claude-User Anthropic — Claude user browsing
PerplexityBot Perplexity — Perplexity search index
Perplexity-User Perplexity — Perplexity user browsing
Google-Extended Google — Gemini training opt-out
Google-CloudVertexBot Google — Vertex AI agents
meta-externalagent Meta — Meta AI training
MistralAI-User Mistral — Le Chat user browsing
DuckAssistBot DuckDuckGo — DuckAssist answers
Applebot-Extended Apple — Apple Intelligence training opt-out
Amazonbot Amazon — Alexa / Rufus
Bytespider ByteDance — TikTok / Doubao training
CCBot Common Crawl — Open crawl corpus
Claude-Web Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot Meta — Retired — use meta-externalagent
cohere-ai Cohere — Never vendor-documented
| |

Директивы Content-Signal

Управляйте тем, как ИИ-агенты могут использовать ваш контент. Эти директивы добавляются в глобальный раздел robots.txt.

Разрешить поисковую индексацию ИИ

Разрешить использование как ввод/контекст ИИ

Разрешить использование для обучения ИИ

Дополнительные настройки

секунд

Сгенерированный robots.txt

разрешено, заблокировано, bytes 


        
        

          
          
        

      

    


    
    

      
Что такое robots.txt для ИИ?

      
robots.txt — это стандартный файл, который указывает поисковым роботам, к каким страницам они могут получить доступ. Поскольку ИИ-агенты становятся важным источником трафика, необходимо настроить robots.txt с правилами для ИИ-ботов, таких как GPTBot, ClaudeBot и PerplexityBot. Директивы Content-Signal позволяют указать, как ИИ-агенты могут использовать ваш контент.

    


    
    

      ← Назад к инструментам