AI robots.txt 检查器
分析您的 robots.txt 文件，查看哪些 AI 机器人可以访问您的网站。检查 Content-Signal 指令、站点地图声明，并获取详细评分。
我们将从该域名获取 /robots.txt 并分析 AI 机器人的访问权限。
分析结果
包含 AI 机器人规则的有效 robots.txt 无效或空的 robots.txt
/ 检查通过
允许
阻止
默认
AI 机器人状态
| 机器人 | 公司 | 状态 | 规则 |
|---|---|---|---|
检查通过
详细信息
- Content-Signal:
- 未找到
- 策略注释:
- 是 否
- Sitemaps:
- 未找到
- 统计:
- lines, bytes
原始内容
什么是 AI robots.txt？
robots.txt 是每个网站根目录下的标准文件，用于告知爬虫可以访问哪些页面。随着 GPTBot（OpenAI）、ClaudeBot（Anthropic）和 PerplexityBot 等 AI 代理的兴起，为这些机器人配置特定规则至关重要。
Content-Signal 指令允许您指定 AI 代理如何使用您的内容：search=yes 允许搜索索引，ai-input=yes 允许用作 AI 上下文，ai-train=no 阻止用于训练。
此工具根据 7 项标准检查您的 robots.txt，包括机器人可访问性、Content-Signal 存在、站点地图声明和策略注释。