AI용 robots.txt 생성기
AI 에이전트에 최적화된 robots.txt 파일을 생성합니다. 허용하거나 차단할 봇을 선택하고 Content-Signal 지시문을 구성한 후 결과를 다운로드합니다.
AI 봇
각 AI 봇이 사이트에 접근하는 방식을 선택합니다. 기본값은 해당 봇에 대한 특정 규칙이 생성되지 않음을 의미합니다.
GPTBot
OpenAI — ChatGPT
ChatGPT-User
OpenAI — ChatGPT browsing
ClaudeBot
Anthropic — Claude
Claude-Web
Anthropic — Claude web search
PerplexityBot
Perplexity — Perplexity AI
Google-Extended
Google — Gemini
Bytespider
ByteDance — TikTok / Doubao
CCBot
Common Crawl — Training data
Amazonbot
Amazon — Alexa / Rufus
FacebookBot
Meta — Meta AI
cohere-ai
Cohere — Cohere models
Applebot-Extended
Apple — Apple Intelligence
|
|
Content-Signal 지시문
AI 에이전트가 콘텐츠를 사용하는 방법을 제어합니다. 이 지시문은 robots.txt의 전역 섹션에 추가됩니다.
AI 검색 인덱싱 허용
AI 입력/컨텍스트로 사용 허용
AI 학습용 사용 허용
추가 설정
초
생성된 robots.txt
허용됨, 차단됨, bytesAI용 robots.txt란?
robots.txt는 웹 크롤러에게 접근 가능한 페이지를 알려주는 표준 파일입니다. AI 에이전트가 주요 트래픽 소스가 되면서 GPTBot, ClaudeBot, PerplexityBot과 같은 AI 봇에 대한 특정 규칙으로 robots.txt를 구성하는 것이 중요합니다. Content-Signal 지시문을 통해 AI 에이전트가 콘텐츠를 어떻게 사용할 수 있는지 지정할 수 있습니다.