블로그

에이전트는 HTML을 가져와 대부분을 버립니다. 깨끗한 마크다운을 건네는 방법과 Vary 함정, .md 쌍둥이 URL.

robots.txt는 가져가도 되는지만 답합니다. Content-Signal은 색인, 답변, 학습의 허용 여부를 말합니다.

그대로 복사해 쓰는 robots.txt 세 가지: 전부 허용, 검색만 허용, AI 완전 차단. 무력화시키는 실수까지.

잘 알려진 12개 페이지를 자체 엔진으로 측정했습니다. 보낸 것의 평균 98%는 모델에 닿지 않습니다.

대개 모델 탓이 아닙니다. 읽기 계층이 깨지는 다섯 가지 방식을 실제 페이지에서 측정했습니다.

AI가 사이트를 인용할 수 있는지는 robots.txt, JavaScript, 추출 후 남는 본문이 결정합니다.

AI 에이전트는 사람과 다른 문으로 사이트를 읽습니다. 무엇을 찾아내는지 측정하고 고칠 순서를 알려줍니다.

Cloudflare 스캐너는 선언한 프로토콜을, 우리는 콘텐츠가 읽힌 뒤에도 남는지 확인합니다.