AI 크롤러 호환성 검사기
AI 봇이 웹사이트를 볼 수 있나요? URL을 입력하여 12개 AI 크롤러의 호환성을 확인하세요. robots.txt, X-Robots-Tag 헤더, meta robots 태그를 분석하여 전체적인 현황을 제공합니다.
robots.txt와 페이지를 가져와 3개의 접근 제어 레이어를 모두 분석합니다.
AI 크롤러 호환성
점수
AI 봇 호환성
접근 제어 레이어
제한 사항 없음 찾을 수 없음
발견됨 감지되지 않음
발견됨 감지되지 않음
감지되지 않음
검사 항목
사이트맵
AI 크롤러란?
AI 크롤러는 OpenAI, Anthropic, Google 등의 기업이 AI 제품을 위해 웹 콘텐츠를 발견하고 색인하는 데 사용하는 자동화된 봇입니다. 검색 엔진 크롤러(Googlebot)와 마찬가지로 AI 크롤러는 robots.txt 지시문, X-Robots-Tag 헤더, <meta> robots 태그를 준수합니다.
세 가지 접근 제어 레이어:robots.txt — 사이트에서 어떤 봇이 어떤 경로에 접근할 수 있는지 제어합니다 (사이트 전체).X-Robots-Tag — 페이지 또는 리소스 수준에서 색인을 제어하는 HTTP 헤더.Meta robots — 페이지별로 색인을 제어하는 HTML 태그, 봇별 재정의 가능.
이 도구는 12개 주요 AI 크롤러에 대해 3개 레이어를 동시에 검사하여 통합된 호환성 현황을 제공합니다.
robots.txt와 robots meta 태그에 대해 자세히 알아보세요.