Генератор robots.txt для ИИ

Создайте файл robots.txt, оптимизированный для ИИ-агентов. Выберите, каких ботов разрешить или заблокировать, настройте директивы Content-Signal и скачайте результат.

ИИ-боты

Выберите, как каждый ИИ-бот может получить доступ к вашему сайту. По умолчанию для этого бота не генерируется специальное правило.

GPTBot OpenAI — ChatGPT
ChatGPT-User OpenAI — ChatGPT browsing
ClaudeBot Anthropic — Claude
Claude-Web Anthropic — Claude web search
PerplexityBot Perplexity — Perplexity AI
Google-Extended Google — Gemini
Bytespider ByteDance — TikTok / Doubao
CCBot Common Crawl — Training data
Amazonbot Amazon — Alexa / Rufus
FacebookBot Meta — Meta AI
cohere-ai Cohere — Cohere models
Applebot-Extended Apple — Apple Intelligence
| |

Директивы Content-Signal

Управляйте тем, как ИИ-агенты могут использовать ваш контент. Эти директивы добавляются в глобальный раздел robots.txt.

Разрешить поисковую индексацию ИИ

Разрешить использование как ввод/контекст ИИ

Разрешить использование для обучения ИИ

Дополнительные настройки

секунд

Сгенерированный robots.txt

разрешено, заблокировано, bytes 


        
        

          
          
        

      

    


    
    

      
Что такое robots.txt для ИИ?

      
robots.txt — это стандартный файл, который указывает поисковым роботам, к каким страницам они могут получить доступ. Поскольку ИИ-агенты становятся важным источником трафика, необходимо настроить robots.txt с правилами для ИИ-ботов, таких как GPTBot, ClaudeBot и PerplexityBot. Директивы Content-Signal позволяют указать, как ИИ-агенты могут использовать ваш контент.

    


    
    

      ← Назад к инструментам