AI爬虫兼容性检查器
AI机器人能看到您的网站吗？输入URL来检查12个AI爬虫的兼容性。我们将分析robots.txt、X-Robots-Tag头和meta robots标签，为您提供完整的全景视图。
我们将获取robots.txt和页面，分析所有3个访问控制层。
AI爬虫兼容性
分数
可访问
受限
已阻止
AI机器人兼容性
robots.txt:
X-Robots-Tag头:
Meta Robots标签:
Content-Signal:
访问控制层
robots.txt
未发现限制 未找到
X-Robots-Tag头
已找到 未检测到
Meta Robots标签
已找到 未检测到
Content-Signal
未检测到
检查项
站点地图
什么是AI爬虫？
AI爬虫是OpenAI、Anthropic、Google等公司用于发现和索引网络内容以供AI产品使用的自动机器人。与搜索引擎爬虫（Googlebot）一样，AI爬虫遵守robots.txt指令、X-Robots-Tag头和<meta> robots标签。
三个访问控制层：robots.txt — 控制哪些机器人可以访问网站的哪些路径（站点级别）。X-Robots-Tag — HTTP头，在页面或资源级别控制索引。Meta robots — HTML标签，按页面控制索引，支持特定机器人覆盖。
此工具同时检查12个主要AI爬虫的所有3个层，为您提供统一的兼容性视图。
了解更多关于robots.txt和robots meta标签的信息。