Часто задаваемые вопросы

ИИ-готовность измеряет, насколько хорошо контент вашего сайта может быть понят, извлечён и использован ИИ-агентами, такими как ChatGPT, Claude и Perplexity. Поскольку ИИ-инструменты становятся важным источником веб-трафика, ИИ-готовые сайты цитируются точнее, чаще появляются в ИИ-генерируемых ответах и требуют меньше токенов для обработки.

В отличие от веб-браузеров, которые визуально отображают HTML, ИИ-агентам необходимо извлекать текстовый контент из ваших страниц. Они предпочитают чистый, хорошо структурированный контент вместо сложного HTML с тяжёлым оформлением. Хорошо структурированная страница, конвертированная в Markdown, использует на 70–80% меньше токенов, чем необработанный HTML, что делает её дешевле и эффективнее для ИИ-провайдеров.

Основные ИИ-краулеры включают GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic/Claude), PerplexityBot (Perplexity), Google-Extended (Google Gemini), Bytespider (ByteDance), CCBot (Common Crawl) и многие другие. Новые ИИ-агенты появляются регулярно по мере роста экосистемы.

llms.txt — это формирующийся стандарт (определённый на llmstxt.org), который помогает ИИ-агентам понять структуру вашего сайта. Подобно тому, как robots.txt направляет краулеры поисковых систем, llms.txt предоставляет обзор вашего сайта в формате Markdown со ссылками на ключевые страницы, облегчая ИИ-агентам навигацию по вашему контенту.

llms.txt — это краткий индекс с описанием и ссылками на основные страницы вашего сайта. llms-full.txt — расширенная версия, включающая фактический контент этих страниц прямо в файле, предоставляя ИИ-агентам всё в одном файле без необходимости переходить по ссылкам. Используйте llms.txt как минимум, а llms-full.txt для полного охвата.

Создайте текстовый файл в корне вашего домена (например, example.com/llms.txt) в соответствии со спецификацией llmstxt.org. Начните с заголовка # (название вашего сайта), добавьте описание в виде цитаты, затем перечислите ссылки, организованные по разделам, таким как ## Documentation и ## Main. AgentReady может сгенерировать рекомендованный llms.txt на основе анализа вашей страницы.

Markdown — предпочтительный формат для ИИ-агентов, поскольку он сохраняет структуру контента (заголовки, списки, ссылки, выделения), устраняя визуальный шум разметки (CSS, JavaScript, div для макета). Markdown-версия вашего контента использует значительно меньше токенов, что делает обработку ИИ-системами быстрее и дешевле.

Согласование контента позволяет вашему серверу отдавать разные форматы одной и той же страницы в зависимости от заголовка Accept клиента. Когда ИИ-агент отправляет Accept: text/markdown, ваш сервер может ответить Markdown-версией вместо HTML. Это наиболее эффективный способ предоставления ИИ-дружественного контента без создания отдельных URL.

Существует два основных подхода: (1) Добавить серверную логику для обнаружения заголовков Accept: text/markdown и возврата Markdown-контента; (2) Создать .md-файлы рядом с вашими страницами (например, /about.md для /about) и указать на них в вашем llms.txt. AgentReady использует оба подхода для собственных страниц.

JSON-LD (JavaScript Object Notation for Linked Data) — это способ встраивания структурированных данных в ваши страницы с использованием словаря Schema.org. ИИ-агенты используют эти данные для извлечения фактической, машиночитаемой информации, такой как характеристики товаров, метаданные статей, информация об организации и многое другое — без необходимости разбирать ваш HTML.

Используйте наиболее конкретный тип, соответствующий вашему контенту: Article или BlogPosting для статей, Product для страниц товаров, Organization для страниц компании, FAQPage для страниц FAQ, LocalBusiness для местного бизнеса и WebApplication для веб-инструментов. Всегда включайте name, description и соответствующие свойства для выбранного типа.

Теги Open Graph (og:title, og:description, og:image) предоставляют стандартизированные метаданные, которые используют как социальные платформы, так и ИИ-агенты для понимания заголовка, описания и основного изображения вашей страницы. Они просты в реализации и служат надёжным запасным вариантом при отсутствии других структурированных данных.

robots.txt контролирует, какие боты могут получить доступ к вашему сайту и какие страницы они могут сканировать. ИИ-краулеры, такие как GPTBot и ClaudeBot, соблюдают директивы robots.txt. Если ваш robots.txt блокирует этих ботов, они не смогут проиндексировать ваш контент, что означает, что ваш сайт не будет появляться в ИИ-генерируемых ответах.

Для максимальной видимости в ИИ-генерируемых ответах разрешите как минимум: GPTBot (OpenAI), ClaudeBot и Claude-Web (Anthropic), PerplexityBot (Perplexity) и Google-Extended (Google Gemini). Вы можете добавить конкретные правила Allow для этих user-agent, сохраняя существующие правила для других ботов.

Content-Signal — это HTTP-заголовок, который сообщает ИИ-агентам, как они могут использовать ваш контент. Например: Content-Signal: ai-train=yes, search=yes, ai-input=yes сигнализирует, что ваш контент может использоваться для обучения ИИ, поисковой индексации и как входные данные для ИИ-ответов. Это более новый стандарт, дающий издателям явный контроль над использованием ИИ.

AgentReady загружает вашу страницу, извлекает контент и проводит 23 индивидуальную проверку по 5 взвешенным измерениям. Каждая проверка оценивается от 0 до 100, а измерения объединяются в общую оценку от 0 до 100. Вы получаете буквенную оценку (A–F), подробную разбивку и приоритетные рекомендации по улучшению вашей оценки.

5 измерений: Семантический HTML (15%) — правильное использование article, main, заголовков и семантических элементов; Эффективность контента (10%) — коэффициент сокращения токенов и соотношение контента к шуму; Обнаруживаемость ИИ (25%) — llms.txt, robots.txt, карта сайта и согласование Markdown; Структурированные данные (20%) — Schema.org, Open Graph и мета-теги; Доступность (30%) — контент без JavaScript, размер страницы и позиция контента.

Да! Анализ одной страницы полностью бесплатен и не требует регистрации. Вы получаете полную оценку, рекомендации, конвертацию в Markdown и предварительный просмотр llms.txt. Мы сейчас в бета-версии с лимитом 5 анализов в час. Полное сканирование домена и функции мониторинга скоро появятся.

Мы проверяем 18 краулеров, и каждый снабжён ссылкой на официальную документацию его производителя. В июле 2026 года мы пересобрали список. Три записи убрали: Claude-Web и FacebookBot больше не значатся в документации Anthropic и Meta, а cohere-ai вообще никогда не был задокументирован — то есть мы советовали указывать ботов, которых не существует. Мы также добавили недостающих, в том числе OAI-SearchBot — краулер, который на самом деле выводит ваш сайт в результаты поиска ChatGPT. В сторонних списках краулеров ходят выдуманные user-agent (случай с xAI/Grok — известный пример). Здесь бот появляется только если его документирует производитель.

Нет — и это различие самое полезное на этой странице. Производители разделяют своих краулеров по назначению. Обучающие боты (GPTBot, ClaudeBot, Google-Extended) читают ваши страницы для обучения моделей: их блокировка не стоит вам ни капли видимости. Поисковые боты (OAI-SearchBot, Claude-SearchBot, PerplexityBot) строят индекс, из которого ассистент цитирует: заблокируйте одного — и вы исчезнете из этого ассистента. Пользовательские боты (ChatGPT-User, Claude-User) забирают страницу, потому что человек запросил её прямо сейчас. Можно отказаться от обучения и при этом всюду цитироваться — но только если вы разрешаете поисковых ботов. Теперь мы помечаем каждого краулера по типу, чтобы вы выбирали осознанно, а не блокировали всё одним шаблоном.

Карточка агента A2A располагается по адресу /.well-known/agent-card.json. Туда её перенесли в A2A v0.3.0 (август 2025), и v1.0 это сохраняет; /.well-known/agent.json — устаревший псевдоним, который SDK всё ещё отдают ради старых клиентов. Мы проверяли — и генерировали — старый путь, то есть заставляли публиковать дескриптор там, куда нынешние агенты не смотрят. Это исправлено. По MCP честный ответ таков: стандартного пути нет. Спецификация MCP вообще не определяет well-known файл обнаружения, а карточки сервера остаются открытым черновиком (SEP-1649), который предлагает /.well-known/mcp/server-card.json. Мы проверяем и его, и прежнее соглашение mcp.json, и помечаем их как черновик, а не выдаём за стандарт. Спецификация MCP действительно требует /.well-known/oauth-protected-resource (RFC 9728) — теперь мы это проверяем.

Потому что рубрика вознаграждала то, что легко проверить, а не то, влияние чего мы можем показать. llms.txt — предложение, которое ни один крупный поставщик не обязался реализовать, — весил больше, чем Schema.org, который все ассистенты действительно разбирают. Рубрика v2 требует, чтобы каждая из 23 проверок объявляла свою доказательную базу: доказано (поставщик документирует, что читает это), правдоподобно (устоявшаяся веб-практика, но без заявлений поставщика именно об ИИ) или предположительно (разумная ставка, не более). Веса следуют за этим: на доказанное теперь приходится 32 из 100 баллов, на правдоподобное — 51, на предположительное — 17. Мы по-прежнему проверяем llms.txt — опубликовать его ничего не стоит, и он ещё может пригодиться, — но он больше не перевешивает сигналы, эффект которых доказан. Каждый результат фиксирует версию рубрики, которой он получен, поэтому старую оценку можно читать по тем правилам, по которым её измеряли.

Теперь мы это измеряем, и это вскрыло дыру в нашей собственной оценке. Все остальные проверки читают декларацию: ваш robots.txt разрешает краулерам проходить — значит, мы начисляли баллы. Но robots.txt отдаёт ваш origin, а запрос до него не доходит: ваш CDN или WAF отвечает первым, и он не обязан соглашаться. С 15 сентября 2026 года Cloudflare блокирует ИИ-краулеров на границе по умолчанию. Сайт мог опубликовать безупречный robots.txt, быть закрытым для всех ассистентов и получить у нас высший балл. Поэтому мы перестали читать и начали измерять: запрашиваем вашу страницу как обычный клиент, запрашиваем ещё раз, представившись как OAI-SearchBot, и сравниваем. У того, что мы можем доказать, есть пределы, и мы предпочитаем сказать об этом, а не заявлять лишнего. Наша проба идёт с наших серверов, а граничные сервисы проверяют краулеров по IP-адресу, а не по имени, — значит, отказ может быть направлен на подделки, тогда как проверенный краулер проходит. Мы сообщаем ровно то, что увидели, и указываем на ваши правила для ботов. Мы не говорим вам, что вы заблокированы в ChatGPT, потому что снаружи этого знать нельзя.