常见问题

关于AI就绪度、llms.txt以及如何让您的网站适应AI代理的所有须知。

AI就绪度基础

AI就绪度衡量网站内容能被ChatGPT、Claude和Perplexity等AI代理理解、提取和使用的程度。随着AI工具成为网络流量的重要来源，AI就绪的网站被更准确地引用，在AI生成的回答中更频繁出现，处理所需的Token也更少。
与视觉渲染HTML的浏览器不同，AI代理需要从页面中提取文本内容。它们更喜欢干净、结构良好的内容，而非带有复杂样式的HTML。转换为Markdown的结构良好页面比原始HTML使用的Token少70-80%，对AI提供商来说更经济高效。
主要的AI爬虫包括GPTBot（OpenAI/ChatGPT）、ClaudeBot（Anthropic/Claude）、PerplexityBot（Perplexity）、Google-Extended（Google Gemini）、Bytespider（ByteDance）、CCBot（Common Crawl）等。随着生态系统的发展，新的AI代理不断涌现。

llms.txt

llms.txt是一个新兴标准（在llmstxt.org上定义），帮助AI代理理解网站结构。类似于robots.txt引导搜索引擎爬虫，llms.txt提供网站的Markdown格式概览和关键页面链接，使AI代理能轻松浏览您的内容。
llms.txt是包含描述和网站主要页面链接的简洁索引。llms-full.txt是扩展版本，内联包含这些页面的实际内容，让AI代理无需跟踪链接即可在单个文件中获取所有信息。至少使用llms.txt，要全面覆盖则使用llms-full.txt。
在域名根目录创建文本文件（如example.com/llms.txt），遵循llmstxt.org规范。以#标题（网站名称）开头，添加引用格式的描述，然后列出按## Documentation和## Main等部分组织的链接。AgentReady可以根据页面分析生成推荐的llms.txt。

AI的Markdown

Markdown是AI代理偏好的格式，因为它保留了内容结构（标题、列表、链接、强调）同时消除了视觉标记噪声（CSS、JavaScript、布局div）。内容的Markdown版本使用的Token显著减少，使AI系统处理更快、更便宜。
内容协商允许服务器根据客户端的Accept标头提供同一页面的不同格式。当AI代理发送Accept: text/markdown时，服务器可以响应Markdown版本而非HTML。这是在不创建单独URL的情况下提供AI友好内容的最有效方式。
有两种主要方法：(1) 添加服务器逻辑检测Accept: text/markdown标头并返回Markdown内容；(2) 在页面旁创建.md文件（如/about对应/about.md）并在llms.txt中链接。AgentReady对自身页面采用了两种方法。

结构化数据与JSON-LD

JSON-LD（JavaScript Object Notation for Linked Data）是使用Schema.org词汇在页面中嵌入结构化数据的方法。AI代理使用这些数据提取产品详情、文章元数据、组织信息等基于事实的机器可读信息——无需解析您的HTML。
使用与内容最匹配的具体类型：文章用Article或BlogPosting，产品页面用Product，公司页面用Organization，FAQ页面用FAQPage，本地商家用LocalBusiness，网页工具用WebApplication。始终包含name、description和所选类型的相关属性。
Open Graph标签（og:title、og:description、og:image）提供标准化的元数据，社交平台和AI代理都使用它们来理解页面的标题、描述和主图片。实施简单，在缺少其他结构化数据时可作为可靠的备选方案。

robots.txt与AI机器人

robots.txt控制哪些机器人可以访问您的网站以及可以爬取哪些页面。GPTBot和ClaudeBot等AI爬虫遵守robots.txt指令。如果robots.txt阻止了这些机器人，它们将无法索引您的内容，意味着您的网站不会出现在AI生成的回答中。
要最大化在AI生成回答中的可见度，至少允许：GPTBot（OpenAI）、ClaudeBot和Claude-Web（Anthropic）、PerplexityBot（Perplexity）和Google-Extended（Google Gemini）。您可以为这些用户代理添加特定的Allow规则，同时保留其他机器人的现有规则。
Content-Signal是一个HTTP标头，告知AI代理如何使用您的内容。例如：Content-Signal: ai-train=yes, search=yes, ai-input=yes表示您的内容可用于AI训练、搜索索引和作为AI回答的输入。这是一个较新的标准，为发布者提供对AI使用的明确控制。

AgentReady评分

AgentReady获取您的页面，提取内容，并在5个加权维度上运行21项个别检查。每项检查评分0-100，各维度汇总为0到100的总分。您将获得字母等级（A-F）、详细分析和优先级排列的改进建议。
5个维度是：语义化HTML（20%）——正确使用article、main、标题和语义元素；内容效率（25%）——Token减少比率和内容与噪声比；AI可发现性（25%）——llms.txt、robots.txt、站点地图和Markdown协商；结构化数据（15%）——Schema.org、Open Graph和meta标签；可访问性（15%）——无需JavaScript的内容、页面大小和内容位置。
是的！单页分析完全免费，无需注册。您将获得完整评分、改进建议、Markdown转换和llms.txt预览。我们目前处于Beta版，每小时限制5次分析。全域爬取和监控功能即将推出。

实用资源

立即分析您的网站