# Часто задаваемые вопросы

Всё, что вам нужно знать об ИИ-готовности, llms.txt и подготовке вашего сайта для работы с ИИ-агентами.

## Основы ИИ-готовности

### Что такое ИИ-готовность и почему это важно?

ИИ-готовность измеряет, насколько хорошо контент вашего сайта может быть понят, извлечён и использован ИИ-агентами, такими как ChatGPT, Claude и Perplexity. Поскольку ИИ-инструменты становятся важным источником веб-трафика, ИИ-готовые сайты цитируются точнее, чаще появляются в ИИ-генерируемых ответах и требуют меньше токенов для обработки.

### Как ИИ-агенты потребляют контент иначе, чем браузеры?

В отличие от веб-браузеров, которые визуально отображают HTML, ИИ-агентам необходимо извлекать текстовый контент из ваших страниц. Они предпочитают чистый, хорошо структурированный контент вместо сложного HTML с тяжёлым оформлением. Хорошо структурированная страница, конвертированная в Markdown, использует на 70–80% меньше токенов, чем необработанный HTML, что делает её дешевле и эффективнее для ИИ-провайдеров.

### Какие ИИ-боты и агенты сейчас сканируют интернет?

Основные ИИ-краулеры включают GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic/Claude), PerplexityBot (Perplexity), Google-Extended (Google Gemini), Bytespider (ByteDance), CCBot (Common Crawl) и многие другие. Новые ИИ-агенты появляются регулярно по мере роста экосистемы.

## llms.txt

### Что такое llms.txt?

llms.txt — это формирующийся стандарт (определённый на llmstxt.org), который помогает ИИ-агентам понять структуру вашего сайта. Подобно тому, как robots.txt направляет краулеры поисковых систем, llms.txt предоставляет обзор вашего сайта в формате Markdown со ссылками на ключевые страницы, облегчая ИИ-агентам навигацию по вашему контенту.

### В чём разница между llms.txt и llms-full.txt?

llms.txt — это краткий индекс с описанием и ссылками на основные страницы вашего сайта. llms-full.txt — расширенная версия, включающая фактический контент этих страниц прямо в файле, предоставляя ИИ-агентам всё в одном файле без необходимости переходить по ссылкам. Используйте llms.txt как минимум, а llms-full.txt для полного охвата.

### Как создать llms.txt для моего сайта?

Создайте текстовый файл в корне вашего домена (например, example.com/llms.txt) в соответствии со спецификацией llmstxt.org. Начните с заголовка # (название вашего сайта), добавьте описание в виде цитаты, затем перечислите ссылки, организованные по разделам, таким как ## Documentation и ## Main. AgentReady может сгенерировать рекомендованный llms.txt на основе анализа вашей страницы.

## Markdown для ИИ

### Почему Markdown важен для ИИ-агентов?

Markdown — предпочтительный формат для ИИ-агентов, поскольку он сохраняет структуру контента (заголовки, списки, ссылки, выделения), устраняя визуальный шум разметки (CSS, JavaScript, div для макета). Markdown-версия вашего контента использует значительно меньше токенов, что делает обработку ИИ-системами быстрее и дешевле.

### Что такое согласование контента Markdown?

Согласование контента позволяет вашему серверу отдавать разные форматы одной и той же страницы в зависимости от заголовка Accept клиента. Когда ИИ-агент отправляет Accept: text/markdown, ваш сервер может ответить Markdown-версией вместо HTML. Это наиболее эффективный способ предоставления ИИ-дружественного контента без создания отдельных URL.

### Как отдавать Markdown-версии моих страниц?

Существует два основных подхода: (1) Добавить серверную логику для обнаружения заголовков Accept: text/markdown и возврата Markdown-контента; (2) Создать .md-файлы рядом с вашими страницами (например, /about.md для /about) и указать на них в вашем llms.txt. AgentReady использует оба подхода для собственных страниц.

## Структурированные данные и JSON-LD

### Что такое JSON-LD и как он помогает ИИ-агентам?

JSON-LD (JavaScript Object Notation for Linked Data) — это способ встраивания структурированных данных в ваши страницы с использованием словаря Schema.org. ИИ-агенты используют эти данные для извлечения фактической, машиночитаемой информации, такой как характеристики товаров, метаданные статей, информация об организации и многое другое — без необходимости разбирать ваш HTML.

### Какие типы Schema.org следует использовать?

Используйте наиболее конкретный тип, соответствующий вашему контенту: Article или BlogPosting для статей, Product для страниц товаров, Organization для страниц компании, FAQPage для страниц FAQ, LocalBusiness для местного бизнеса и WebApplication для веб-инструментов. Всегда включайте name, description и соответствующие свойства для выбранного типа.

### Как теги Open Graph помогают ИИ-агентам?

Теги Open Graph (og:title, og:description, og:image) предоставляют стандартизированные метаданные, которые используют как социальные платформы, так и ИИ-агенты для понимания заголовка, описания и основного изображения вашей страницы. Они просты в реализации и служат надёжным запасным вариантом при отсутствии других структурированных данных.

## robots.txt и ИИ-боты

### Как robots.txt влияет на ИИ-краулеры?

robots.txt контролирует, какие боты могут получить доступ к вашему сайту и какие страницы они могут сканировать. ИИ-краулеры, такие как GPTBot и ClaudeBot, соблюдают директивы robots.txt. Если ваш robots.txt блокирует этих ботов, они не смогут проиндексировать ваш контент, что означает, что ваш сайт не будет появляться в ИИ-генерируемых ответах.

### Каких ИИ-ботов следует разрешить в robots.txt?

Для максимальной видимости в ИИ-генерируемых ответах разрешите как минимум: GPTBot (OpenAI), ClaudeBot и Claude-Web (Anthropic), PerplexityBot (Perplexity) и Google-Extended (Google Gemini). Вы можете добавить конкретные правила Allow для этих user-agent, сохраняя существующие правила для других ботов.

### Что такое заголовки Content-Signal?

Content-Signal — это HTTP-заголовок, который сообщает ИИ-агентам, как они могут использовать ваш контент. Например: Content-Signal: ai-train=yes, search=yes, ai-input=yes сигнализирует, что ваш контент может использоваться для обучения ИИ, поисковой индексации и как входные данные для ИИ-ответов. Это более новый стандарт, дающий издателям явный контроль над использованием ИИ.

## Оценка AgentReady

### Как работает система оценки AgentReady?

AgentReady загружает вашу страницу, извлекает контент и проводит 23 индивидуальную проверку по 5 взвешенным измерениям. Каждая проверка оценивается от 0 до 100, а измерения объединяются в общую оценку от 0 до 100. Вы получаете буквенную оценку (A–F), подробную разбивку и приоритетные рекомендации по улучшению вашей оценки.

### Каковы 5 измерений оценки?

5 измерений: Семантический HTML (15%) — правильное использование article, main, заголовков и семантических элементов; Эффективность контента (10%) — коэффициент сокращения токенов и соотношение контента к шуму; Обнаруживаемость ИИ (25%) — llms.txt, robots.txt, карта сайта и согласование Markdown; Структурированные данные (20%) — Schema.org, Open Graph и мета-теги; Доступность (30%) — контент без JavaScript, размер страницы и позиция контента.

### Анализ бесплатный?

Да! Анализ одной страницы полностью бесплатен и не требует регистрации. Вы получаете полную оценку, рекомендации, конвертацию в Markdown и предварительный просмотр llms.txt. Мы сейчас в бета-версии с лимитом 5 анализов в час. Полное сканирование домена и функции мониторинга скоро появятся.

## Что изменилось

### Каких ИИ-ботов вы проверяете и почему список изменился?

Мы проверяем 18 краулеров, и каждый снабжён ссылкой на официальную документацию его производителя. В июле 2026 года мы пересобрали список. Три записи убрали: Claude-Web и FacebookBot больше не значатся в документации Anthropic и Meta, а cohere-ai вообще никогда не был задокументирован — то есть мы советовали указывать ботов, которых не существует. Мы также добавили недостающих, в том числе OAI-SearchBot — краулер, который на самом деле выводит ваш сайт в результаты поиска ChatGPT. В сторонних списках краулеров ходят выдуманные user-agent (случай с xAI/Grok — известный пример). Здесь бот появляется только если его документирует производитель.

### Повредит ли блокировка GPTBot моей видимости в ChatGPT?

Нет — и это различие самое полезное на этой странице. Производители разделяют своих краулеров по назначению. Обучающие боты (GPTBot, ClaudeBot, Google-Extended) читают ваши страницы для обучения моделей: их блокировка не стоит вам ни капли видимости. Поисковые боты (OAI-SearchBot, Claude-SearchBot, PerplexityBot) строят индекс, из которого ассистент цитирует: заблокируйте одного — и вы исчезнете из этого ассистента. Пользовательские боты (ChatGPT-User, Claude-User) забирают страницу, потому что человек запросил её прямо сейчас. Можно отказаться от обучения и при этом всюду цитироваться — но только если вы разрешаете поисковых ботов. Теперь мы помечаем каждого краулера по типу, чтобы вы выбирали осознанно, а не блокировали всё одним шаблоном.

### Где должны находиться моя карточка агента A2A и карточка сервера MCP?

Карточка агента A2A располагается по адресу /.well-known/agent-card.json. Туда её перенесли в A2A v0.3.0 (август 2025), и v1.0 это сохраняет; /.well-known/agent.json — устаревший псевдоним, который SDK всё ещё отдают ради старых клиентов. Мы проверяли — и генерировали — старый путь, то есть заставляли публиковать дескриптор там, куда нынешние агенты не смотрят. Это исправлено. По MCP честный ответ таков: стандартного пути нет. Спецификация MCP вообще не определяет well-known файл обнаружения, а карточки сервера остаются открытым черновиком (SEP-1649), который предлагает /.well-known/mcp/server-card.json. Мы проверяем и его, и прежнее соглашение mcp.json, и помечаем их как черновик, а не выдаём за стандарт. Спецификация MCP действительно требует /.well-known/oauth-protected-resource (RFC 9728) — теперь мы это проверяем.

### Почему в июле 2026 года изменились веса оценки?

Потому что рубрика вознаграждала то, что легко проверить, а не то, влияние чего мы можем показать. llms.txt — предложение, которое ни один крупный поставщик не обязался реализовать, — весил больше, чем Schema.org, который все ассистенты действительно разбирают. Рубрика v3 требует, чтобы каждая из 23 проверок объявляла свою доказательную базу: доказано (поставщик документирует, что читает это), правдоподобно (устоявшаяся веб-практика, но без заявлений поставщика именно об ИИ) или предположительно (разумная ставка, не более). Веса следуют за этим: на доказанное теперь приходится 32 из 100 баллов, на правдоподобное — 51, на предположительное — 17. Мы по-прежнему проверяем llms.txt — опубликовать его ничего не стоит, и он ещё может пригодиться, — но он больше не перевешивает сигналы, эффект которых доказан. Каждый результат фиксирует версию рубрики, которой он получен, поэтому старую оценку можно читать по тем правилам, по которым её измеряли.

### Проверяете ли вы, действительно ли ИИ-краулеры могут добраться до моего сайта?

Теперь мы это измеряем, и это вскрыло дыру в нашей собственной оценке. Все остальные проверки читают декларацию: ваш robots.txt разрешает краулерам проходить — значит, мы начисляли баллы. Но robots.txt отдаёт ваш origin, а запрос до него не доходит: ваш CDN или WAF отвечает первым, и он не обязан соглашаться. С 15 сентября 2026 года Cloudflare блокирует ИИ-краулеров на границе по умолчанию. Сайт мог опубликовать безупречный robots.txt, быть закрытым для всех ассистентов и получить у нас высший балл. Поэтому мы перестали читать и начали измерять: запрашиваем вашу страницу как обычный клиент, запрашиваем ещё раз, представившись как OAI-SearchBot, и сравниваем. У того, что мы можем доказать, есть пределы, и мы предпочитаем сказать об этом, а не заявлять лишнего. Наша проба идёт с наших серверов, а граничные сервисы проверяют краулеров по IP-адресу, а не по имени, — значит, отказ может быть направлен на подделки, тогда как проверенный краулер проходит. Мы сообщаем ровно то, что увидели, и указываем на ваши правила для ботов. Мы не говорим вам, что вы заблокированы в ChatGPT, потому что снаружи этого знать нельзя.

## Полезные ресурсы

- [llmstxt.org](https://llmstxt.org) — llms.txt specification
- [schema.org](https://schema.org) — Schema.org vocabulary
- [W3C JSON-LD](https://www.w3.org/TR/json-ld11/) — JSON-LD specification
- [ogp.me](https://ogp.me) — Open Graph Protocol
- [robotstxt.org](https://www.robotstxt.org) — robots.txt standard
- [commonmark.org](https://commonmark.org) — CommonMark Markdown specification
- [RFC 7231](https://datatracker.ietf.org/doc/html/rfc7231#section-5.3) — HTTP Content Negotiation