AI エージェントがあなたのサイトで実際に見るもの

自分のトップページを開けば、デザインが見えます。ナビゲーション、大きな画像、三段組のテキスト、料金表、そして何か月も前から目に入らなくなったクッキーのバナー。

エージェントが同じ URL を開いても、そのどれも見えていません。届くのはバイトの流れで、その大半を捨て、残ったものを限られたコンテキストウィンドウを持つモデルに渡します。この道のりを生き延びたものが、アシスタントがあなたの会社を説明するときの根拠のすべてです。

それを覗いてみた人はほとんどいません。だから計測しました。

計測

2026 年 8 月 31 日、有名な 12 ページを自社のエンジンに通しました。ふつうのエージェントと同じようにページを取得し、読める内容を抽出し、Markdown に変換し、両端のトークンを cl100k_base で数える、という手順です。

ページ 送信 モデルに届く 残る割合
wordpress.org/about 56,663 tok 159 tok 0.3%
vercel.com/docs 278,962 tok 905 tok 0.3%
stripe.com/docs 376,509 tok 1,042 tok 0.3%
cloudflare.com/learning/… 95,028 tok 631 tok 0.7%
nodejs.org/en/about 117,729 tok 1,190 tok 1.0%
shopify.com/pricing 410,515 tok 2,479 tok 0.6%
notion.com/pricing 172,136 tok 2,805 tok 1.6%
slack.com/pricing 294,980 tok 5,718 tok 1.9%
developer.mozilla.org/…/HTTP 59,350 tok 3,059 tok 5.2%
react.dev/learn 91,899 tok 3,804 tok 4.1%
atlassian.com/software/jira/pricing 379,636 tok 1 tok 0.0%
agentready.md 13,188 tok 627 tok 4.8%

送った量の 6% を超えて届けたページは一つもありません。中央値は 1% を下回ります。

これはスキャンダルではありません。それらのバイトの大半は、ブラウザを持つ読者のために本当の仕事をしています。レイアウト、スタイル、解析、対話性。ここで言いたいのはもっと狭いことです。その全部が入口で課金され、そしてそのほとんどはエージェントが求めて来たものではない。

ページに起こる四つのこと

リクエストからモデルまで、ページは四つの門をくぐります。どの門でも何かが落ちます。

1. 取得。 エージェントが URL を要求します。エージェントの取得処理の多くは JavaScript を実行しません。遅く、高くつき、攻撃面が増えるからです。つまり受け取るのはサーバーの生の応答であって、ブラウザが組み立てたページではありません。

2. 抽出。 その HTML のどこが記事で、どこが家具なのかを何かが決めなければなりません。Firefox のリーダーモードが解いているのと同じ問題で、皆が使うのと同じライブラリです。ナビゲーション、フッター、クッキーのバナー、サイドバーはゴミ箱行き。抽出器がサイドバーと見分けられないものも同じ運命です。

3. 変換。 残ったものがテキストになります。見出し、リスト、表、リンク、コードブロックは構造として生き残ります。クラス名、ラッパーの <div>、インライン SVG、data- 属性は残りません。

4. コンテキストウィンドウ。 そこまで来たものが、ユーザーの質問、システムプロンプト、場合によっては他の九つのページと場所を奪い合います。

アシスタントにとって、あなたのコンテンツは四つすべてを通り抜けたときにだけ存在します。

うまくいっているときの姿

vercel.com/docs は 278,962 トークンを 905 に減らし、その 905 はこう始まります。

## Ship anything with Vercel

Deploy your app on Vercel in three steps: install the CLI, add agent
support if you need it…

「Vercel は何をする会社か」への、きれいな答えです。これを読んだモデルは引用でき、要約でき、出典を示せます。落ちた 99.7% は、エージェントが欲しかったものを何も奪っていません。

うまくいっていないときの姿

atlassian.com/software/jira/pricing は 1.37 MB を送って 1 トークン を届けます。

このページは殻です。HTML には <div id="wac-root"></div> があり、その後ろに約 1 メガバイトの埋め込みアプリケーション状態が続きます。価格も、プラン名も、機能一覧も、すべて <script> の中に JSON として置かれ、JavaScript がページを組み立てるのを待っています。私たちの抽出器は window.SSR_detailMetrics=Object.freeze({"getFeatureGateValues":… を 110 万文字ぶん律儀に取り出し、スクリプトを取り除いたあとに残ったのは改行が一つでした。

つまり、アシスタントに Jira の値段を尋ねても、そのページは答えの出どころになりえません。Atlassian が誰かを遮断したからではなく（遮断していません）、ブラウザが実行するまでページに文字が存在しないからです。

同じ URL をヘッドレスブラウザで取得すると 3,048 トークンになり、Transparent pricing for every team で始まります。内容はあるのです。ただ、応答の中にないだけです。エージェントがブラウザを動かすかどうか、そしてその代償が、すべての違いです。

stripe.com/docs は同じ形のもっと穏やかな例です。1.28 MB が入り、抽出された内容は 1,057 文字で、Stripe の説明ではなくコマンドラインの例から始まります。

見つかると思っていて、なかったもの

これらのサイトのいくつかはエッジでエージェントを追い返しているはずだと考えていました。そこで各ページを 2 回ずつ調べました。ふつうのブラウザとして 1 回、OAI-SearchBot を名乗って 1 回、そして比較しました。

12 のうち、ボットを別扱いしたものは一つもありませんでした。 Cloudflare、Vercel、CloudFront をまたいで、どちらも同じステータスコードです。（cloudflare.com/learning は両方の調査に 403 を返しました。壁ではありますが、ボット向けの壁ではありません。）

遮断は誰もが話題にする失敗です。この標本では一度も起きませんでした。起きていたのはもっと静かなことです。扉は開いていて、部屋が空でした。

自分のページを見る

コマンドは二つ。送っている量。

curl -s https://あなたのサイト/ページ | wc -c

そのうえで、抽出を生き延びたものを読んでください。URL をチェッカーに貼り、点数ではなく Markdown のパネルを見ます。問うべきは数字の大きさではありません。そこに読める文章が、アシスタントにあなたについて引用してほしい文章かどうかです。

たいていの人は二度驚きます。中身がどれだけ少ないかに、そしてどの部分が残ったかに。

短い版

  • エージェントはあなたの生の HTML を、たいてい JavaScript を実行せずに見て、およそ 1% を残します。
  • コンテンツを JavaScript が組み立てているなら、その 1% はまったくの無になりえます。
  • 遮断されるのは稀です。空であることはありふれています。
  • 直し方はマークアップを減らすことではありません。言葉が応答の中にあるようにすることです。

サイトを調べる · AI アシスタントはあなたを読めるか · エージェントに Markdown を出す