ブログ

エージェントは HTML の大半を捨てます。最初からきれいな Markdown を渡す方法と、Vary の落とし穴。

robots.txt が答えるのは取得の可否だけ。Content-Signal は検索・回答・学習の可否を伝えます。

コピーできる robots.txt を三通り。全部通す、検索のみ許可、AI を完全に締め出す。書き間違いも添えて。

有名な 12 ページを自社エンジンで計測しました。送信量の平均 98% はモデルに届きません。何が残るのか、そしてなぜか。

原因はたいていモデルではありません。読み取り層が壊れる 5 つの型を実ページで計測しました。

AI が引用できるかは robots.txt・JavaScript・抽出後に残る本文で決まります。三つを自分で確認する方法。

AI エージェントは人間とは違う入口からサイトを読みます。何が見つかるかを計測し、直す順番を示します。

Cloudflare のスキャナーは宣言したプロトコルを、私たちは本文が読まれた後に残るかを調べます。