# AI 에이전트가 당신의 사이트에서 실제로 보는 것

홈페이지를 열면 디자인이 보입니다. 내비게이션, 큰 이미지, 세 단으로 나뉜 텍스트, 요금표, 그리고 몇 달 전부터 눈에 들어오지 않게 된 쿠키 배너.

에이전트가 같은 URL을 열면 그중 아무것도 보지 못합니다. 바이트의 흐름을 받아 대부분을 버리고, 남은 것을 제한된 컨텍스트 윈도를 가진 모델에 넘깁니다. 그 여정에서 살아남은 것이, 어시스턴트가 당신의 회사를 설명할 때 쓰는 근거의 전부입니다.

그것을 들여다본 사람은 거의 없습니다. 그래서 측정했습니다.

## 측정

2026년 8월 31일, 잘 알려진 12개 페이지를 자체 엔진에 통과시켰습니다. 평범한 에이전트가 하듯 페이지를 가져오고, 읽을 수 있는 내용을 추출하고, Markdown으로 변환하고, 양쪽 끝의 토큰을 `cl100k_base`로 셌습니다.

| 페이지 | 보낸 양 | 모델에 닿는 양 | 남는 비율 |
|---|---|---|---|
| `wordpress.org/about` | 56,663 tok | 159 tok | 0.3% |
| `vercel.com/docs` | 278,962 tok | 905 tok | 0.3% |
| `stripe.com/docs` | 376,509 tok | 1,042 tok | 0.3% |
| `cloudflare.com/learning/…` | 95,028 tok | 631 tok | 0.7% |
| `nodejs.org/en/about` | 117,729 tok | 1,190 tok | 1.0% |
| `shopify.com/pricing` | 410,515 tok | 2,479 tok | 0.6% |
| `notion.com/pricing` | 172,136 tok | 2,805 tok | 1.6% |
| `slack.com/pricing` | 294,980 tok | 5,718 tok | 1.9% |
| `developer.mozilla.org/…/HTTP` | 59,350 tok | 3,059 tok | 5.2% |
| `react.dev/learn` | 91,899 tok | 3,804 tok | 4.1% |
| `atlassian.com/software/jira/pricing` | 379,636 tok | 1 tok | 0.0% |
| `agentready.md` | 13,188 tok | 627 tok | 4.8% |

보낸 것의 6%를 넘겨 전달한 페이지는 하나도 없습니다. 중앙값은 1%에 못 미칩니다.

이것은 스캔들이 아닙니다. 그 바이트의 대부분은 브라우저를 가진 독자를 위해 진짜 일을 합니다. 레이아웃, 스타일, 분석, 상호작용. 여기서 말하려는 건 더 좁습니다. **그 전부가 입구에서 비용으로 계산되고, 그중 거의 아무것도 에이전트가 찾아온 것이 아니라는 점입니다.**

## 당신의 페이지에 일어나는 네 가지

요청과 모델 사이에서 페이지는 네 개의 문을 지납니다. 문마다 무언가가 떨어집니다.

**1. 가져오기.** 에이전트가 URL을 요청합니다. 에이전트의 가져오기 로직 대부분은 JavaScript를 실행하지 않습니다. 느리고, 비싸고, 공격 표면을 넓히니까요. 그래서 받는 것은 서버의 날것 그대로의 응답이지, 브라우저가 조립한 페이지가 아닙니다.

**2. 추출.** 그 HTML에서 어디가 본문이고 어디가 가구인지를 무언가가 정해야 합니다. Firefox의 읽기 모드가 푸는 것과 같은 문제이고, 모두가 쓰는 것과 같은 라이브러리입니다. 내비게이션, 푸터, 쿠키 배너, 사이드바는 쓰레기통으로 갑니다. 추출기가 사이드바와 구별하지 못하는 것도 마찬가지입니다.

**3. 변환.** 남은 것이 텍스트가 됩니다. 제목, 목록, 표, 링크, 코드 블록은 구조로 살아남습니다. 클래스 이름, 감싸는 `<div>`, 인라인 SVG, `data-` 속성은 그러지 못합니다.

**4. 컨텍스트 윈도.** 거기까지 온 것이 이제 사용자의 질문, 시스템 프롬프트, 어쩌면 다른 아홉 개의 페이지와 자리를 다툽니다.

어시스턴트에게 당신의 콘텐츠는 네 관문을 모두 통과했을 때에만 존재합니다.

## 잘될 때의 모습

`vercel.com/docs`는 278,962 토큰을 905로 줄이고, 그 905는 이렇게 시작합니다.

```markdown
## Ship anything with Vercel

Deploy your app on Vercel in three steps: install the CLI, add agent
support if you need it…
```

"Vercel이 무엇을 하는가"에 대한 깔끔한 답입니다. 이것을 읽은 모델은 인용하고, 요약하고, 출처를 밝힐 수 있습니다. 떨어져 나간 99.7%는 에이전트가 원하던 것을 하나도 앗아가지 않았습니다.

## 잘못될 때의 모습

`atlassian.com/software/jira/pricing`은 1.37MB를 보내고 **1 토큰**을 전달합니다.

이 페이지는 껍데기입니다. HTML에는 `<div id="wac-root"></div>`가 있고, 그 뒤로 약 1메가바이트의 내장된 애플리케이션 상태가 이어집니다. 가격도, 요금제 이름도, 기능 목록도 전부 `<script>` 안에 JSON으로 들어 있고, JavaScript가 페이지를 지어주기를 기다립니다. 우리 추출기는 `window.SSR_detailMetrics=Object.freeze({"getFeatureGateValues":…`를 110만 자만큼 성실하게 꺼냈고, 스크립트를 걷어내자 남은 것은 줄바꿈 하나였습니다.

그러니 어시스턴트에게 Jira 가격을 물어도, 그 페이지는 답의 출처가 될 수 없습니다. Atlassian이 누군가를 막아서가 아니라 — 막지 않았습니다 — 브라우저가 실행하기 전까지 페이지에 글자가 없기 때문입니다.

같은 URL을 헤드리스 브라우저로 가져오면 3,048 토큰이 되고 **Transparent pricing for every team**으로 시작합니다. 내용은 있습니다. 다만 응답 안에 없을 뿐입니다. [에이전트가 브라우저를 돌리는지, 그리고 그 대가](/ko/blog/why-ai-agents-fail)가 모든 차이를 만듭니다.

`stripe.com/docs`는 같은 모양의 더 온건한 사례입니다. 1.28MB가 들어가고, 추출된 내용은 1,057자인데 Stripe에 대한 설명이 아니라 명령줄 예제로 시작합니다.

## 찾을 줄 알았는데 없던 것

이 사이트 중 일부는 엣지에서 에이전트를 돌려보내고 있으리라 짐작했습니다. 그래서 각각을 두 번씩 조사했습니다. 한 번은 평범한 브라우저로, 한 번은 `OAI-SearchBot`을 자처하며, 그리고 비교했습니다.

**열둘 중 봇을 다르게 대한 곳은 하나도 없었습니다.** Cloudflare, Vercel, CloudFront를 가로질러 두 경우 모두 같은 상태 코드였습니다. (`cloudflare.com/learning`은 두 조사 모두에 403을 돌려줬는데, 벽이기는 하지만 봇 전용 벽은 아닙니다.)

차단은 모두가 이야기하는 실패입니다. 이 표본에서는 한 번도 일어나지 않았습니다. 대신 더 조용한 일이 있었습니다. 문은 열려 있었고 방이 비어 있었습니다.

## 당신의 페이지를 보세요

명령 두 개. 당신이 보내는 양.

```bash
curl -s https://당신의사이트/페이지 | wc -c
```

그다음, 추출에서 살아남은 것을 읽어 보세요. URL을 [체커](/ko)에 붙여 넣고 점수가 아니라 Markdown 패널을 보십시오. 물어야 할 것은 숫자가 큰지가 아닙니다. 거기 읽히는 글이, 어시스턴트가 당신에 대해 인용해 주길 바라는 글인지입니다.

대개 두 번 놀랍니다. 남은 것이 얼마나 적은지에, 그리고 어느 부분이 살아남았는지에.

## 짧은 요약

- 에이전트는 보통 JavaScript를 실행하지 않은 채 날 HTML을 보고, 그중 약 1%를 남깁니다.
- 콘텐츠를 JavaScript가 조립한다면, 그 1%는 정확히 아무것도 아닐 수 있습니다.
- 차단당하는 일은 드뭅니다. 비어 있는 일은 흔합니다.
- 해법은 마크업을 줄이는 것이 아닙니다. 말이 응답 안에 있게 하는 것입니다.

[사이트 점검하기](/ko) · [AI 어시스턴트가 당신을 읽을 수 있나](/ko/blog/can-ai-read-your-site) · [에이전트에게 Markdown 제공하기](/ko/blog/markdown-for-agents)