AI용 robots.txt 생성기
AI 에이전트에 최적화된 robots.txt 파일을 생성합니다. 허용하거나 차단할 봇을 선택하고 Content-Signal 지시문을 구성한 후 결과를 다운로드합니다.
AI 봇
각 AI 봇이 사이트에 접근하는 방식을 선택합니다. 기본값은 해당 봇에 대한 특정 규칙이 생성되지 않음을 의미합니다.
GPTBot
OpenAI — Model training
OAI-SearchBot
OpenAI — ChatGPT search results
ChatGPT-User
OpenAI — ChatGPT user browsing
OAI-AdsBot
OpenAI — ChatGPT ads validation
ClaudeBot
Anthropic — Model training
Claude-SearchBot
Anthropic — Claude search results
Claude-User
Anthropic — Claude user browsing
PerplexityBot
Perplexity — Perplexity search index
Perplexity-User
Perplexity — Perplexity user browsing
Google-Extended
Google — Gemini training opt-out
Google-CloudVertexBot
Google — Vertex AI agents
meta-externalagent
Meta — Meta AI training
MistralAI-User
Mistral — Le Chat user browsing
DuckAssistBot
DuckDuckGo — DuckAssist answers
Applebot-Extended
Apple — Apple Intelligence training opt-out
Amazonbot
Amazon — Alexa / Rufus
Bytespider
ByteDance — TikTok / Doubao training
CCBot
Common Crawl — Open crawl corpus
Claude-Web
Anthropic — Retired — use Claude-User / Claude-SearchBot
FacebookBot
Meta — Retired — use meta-externalagent
cohere-ai
Cohere — Never vendor-documented
|
|
Content-Signal 지시문
AI 에이전트가 콘텐츠를 사용하는 방법을 제어합니다. 이 지시문은 robots.txt의 전역 섹션에 추가됩니다.
AI 검색 인덱싱 허용
AI 입력/컨텍스트로 사용 허용
AI 학습용 사용 허용
추가 설정
초
생성된 robots.txt
허용됨, 차단됨, bytesAI용 robots.txt란?
robots.txt는 웹 크롤러에게 접근 가능한 페이지를 알려주는 표준 파일입니다. AI 에이전트가 주요 트래픽 소스가 되면서 GPTBot, ClaudeBot, PerplexityBot과 같은 AI 봇에 대한 특정 규칙으로 robots.txt를 구성하는 것이 중요합니다. Content-Signal 지시문을 통해 AI 에이전트가 콘텐츠를 어떻게 사용할 수 있는지 지정할 수 있습니다.