博客
关于 AI 智能体如何读取网页,以及该怎么应对的笔记。
-
我们如何评分:23 项检查,以及为什么有些权重更高
完整的评分标准:五个加权维度、23 项检查,以及每项检查背后的证据等级。也包括这个分数刻意不去衡量的东西,和它为什么带着版本号。
阅读 -
让 PM2 在服务器重启后自己活过来(两半缺一不可)
服务器重启后网站不回来,非要等人部署才恢复,说明 pm2 save 和 pm2 startup 少了一个。两者的安装与验证。
阅读 -
缓存失效:为什么你的 ?v= 多半什么都没做
一份过期的样式表让我们的导航在生产环境彻底掉样式,看上去就像部署失败。为什么只有内容哈希能当缓存令牌,什么时候可以用 immutable,以及如何自查。
阅读 -
让谷歌忽略你所有译文的 canonical 错误
我们上线了一个十语言站点,其中九个语言都在告诉搜索引擎不要收录自己。这个线上 bug、避免它的规则,以及一行命令排查任何多语言站点的方法。
阅读 -
为什么你的 CDN 什么都没缓存:那个悄悄挡住它的响应头
四项缓存设置都正确,每个静态文件却都返回 cf-cache-status: BYPASS。原因是每条响应都带着 Set-Cookie。
阅读 -
面向智能体的 Markdown 内容协商
智能体抓取你的 HTML,然后丢掉绝大部分。怎样直接把干净的 Markdown 交给它:内容协商、Vary 的坑、.md 孪生链接。
阅读 -
Content-Signal:告诉 AI 它可以拿你的内容做什么
robots.txt 只回答能不能抓取。Content-Signal 说的是抓到之后能做什么——索引、作答、训练。附三个真实写法。
阅读 -
如何在 robots.txt 里放行或拦截 AI 机器人
三份可以直接抄走的完整 robots.txt:全部放行、允许检索但拒绝训练、彻底拦住 AI。外加那些会悄悄让三者都失效的写法。
阅读 -
AI 智能体访问你的网站时真正看到什么
我们用自家引擎测了十二个知名页面。平均而言,发送内容的 98% 从未抵达模型。
阅读 -
你的 AI 智能体为何在真实网站上失败
多半不是模型的问题。读取层出问题的五种方式,在真实页面上实测,包括渲染直接超时的那一种。
阅读 -
ChatGPT、Claude 能读取你的网站吗
AI 助手能否引用你的网站,取决于三件事:robots.txt、JavaScript,以及内容在提取后还剩多少。这里是三项的自查方法,附上确切命令。
阅读 -
AgentReady 是什么,它到底能告诉你什么
AI 智能体读取你网站的方式和访客完全不同。AgentReady 测量它们能找到什么,把页面转成干净的 Markdown,并告诉你应该先改哪里。
阅读 -
与 isitagentready.com 有什么不同
Cloudflare 的扫描器检查你的网站声明了哪些智能体协议。我们的检查你的内容能否在被读取后留存。两者回答的问题不同,而你多半两个答案都想要。
阅读