Проверка robots.txt для ИИ
Проанализируйте файл robots.txt, чтобы узнать, какие ИИ-боты могут получить доступ к вашему сайту. Проверьте директивы Content-Signal, объявления sitemap и получите детальную оценку.
Мы получим /robots.txt с этого домена и проанализируем доступ для ИИ-ботов.
Результаты анализа
Валидный robots.txt с правилами для ИИ-ботов Невалидный или пустой robots.txt
/ проверок пройдено
Статус ИИ-ботов
| Бот | Компания | Статус | Правила |
|---|---|---|---|
проверок пройдено
Подробности
- Content-Signal:
- Не найдено
- Комментарий о политике:
- Да Нет
- Sitemaps:
- Не найдено
- Статистика:
- lines, bytes
Исходное содержимое
Что такое robots.txt для ИИ?
robots.txt — это стандартный файл в корне каждого сайта, который указывает поисковым роботам, какие страницы доступны. С появлением ИИ-агентов, таких как GPTBot (OpenAI), ClaudeBot (Anthropic) и PerplexityBot, необходимо настраивать конкретные правила для этих ботов.
Директивы Content-Signal позволяют указать, как ИИ-агенты могут использовать ваш контент: search=yes разрешает поисковую индексацию, ai-input=yes разрешает использование в качестве контекста ИИ, а ai-train=no блокирует использование для обучения.
Этот инструмент проверяет ваш robots.txt по 7 критериям, включая доступность для ботов, наличие Content-Signal, объявление sitemap и комментарии о политике.