AI용 robots.txt 검사기
robots.txt 파일을 분석하여 어떤 AI 봇이 사이트에 접근할 수 있는지 확인하세요. Content-Signal 지시문, 사이트맵 선언을 확인하고 상세 점수를 받으세요.
이 도메인에서 /robots.txt를 가져와 AI 봇 접근을 분석합니다.
분석 결과
AI 봇 규칙이 있는 유효한 robots.txt 유효하지 않거나 빈 robots.txt
/ 검사 통과
허용
차단
기본값
AI 봇 상태
| 봇 | 회사 | 상태 | 규칙 |
|---|---|---|---|
검사 통과
세부 정보
- Content-Signal:
- 찾을 수 없음
- 정책 주석:
- 예 아니오
- Sitemaps:
- 찾을 수 없음
- 통계:
- lines, bytes
원본 콘텐츠
AI용 robots.txt란?
robots.txt는 모든 웹사이트 루트에 있는 표준 파일로, 크롤러가 접근할 수 있는 페이지를 알려줍니다. GPTBot(OpenAI), ClaudeBot(Anthropic), PerplexityBot 등 AI 에이전트의 부상으로 이러한 봇에 대한 특정 규칙을 구성하는 것이 필수적입니다.
Content-Signal 지시문을 통해 AI 에이전트가 콘텐츠를 사용하는 방법을 지정할 수 있습니다: search=yes는 검색 색인을 허용하고, ai-input=yes는 AI 컨텍스트로 사용을 허용하며, ai-train=no는 훈련 용도를 차단합니다.
이 도구는 봇 접근성, Content-Signal 존재, 사이트맵 선언, 정책 주석을 포함한 7가지 기준으로 robots.txt를 확인합니다.