Часто задаваемые вопросы

ИИ-готовность измеряет, насколько хорошо контент вашего сайта может быть понят, извлечён и использован ИИ-агентами, такими как ChatGPT, Claude и Perplexity. Поскольку ИИ-инструменты становятся важным источником веб-трафика, ИИ-готовые сайты цитируются точнее, чаще появляются в ИИ-генерируемых ответах и требуют меньше токенов для обработки.

В отличие от веб-браузеров, которые визуально отображают HTML, ИИ-агентам необходимо извлекать текстовый контент из ваших страниц. Они предпочитают чистый, хорошо структурированный контент вместо сложного HTML с тяжёлым оформлением. Хорошо структурированная страница, конвертированная в Markdown, использует на 70–80% меньше токенов, чем необработанный HTML, что делает её дешевле и эффективнее для ИИ-провайдеров.

Основные ИИ-краулеры включают GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic/Claude), PerplexityBot (Perplexity), Google-Extended (Google Gemini), Bytespider (ByteDance), CCBot (Common Crawl) и многие другие. Новые ИИ-агенты появляются регулярно по мере роста экосистемы.

llms.txt — это формирующийся стандарт (определённый на llmstxt.org), который помогает ИИ-агентам понять структуру вашего сайта. Подобно тому, как robots.txt направляет краулеры поисковых систем, llms.txt предоставляет обзор вашего сайта в формате Markdown со ссылками на ключевые страницы, облегчая ИИ-агентам навигацию по вашему контенту.

llms.txt — это краткий индекс с описанием и ссылками на основные страницы вашего сайта. llms-full.txt — расширенная версия, включающая фактический контент этих страниц прямо в файле, предоставляя ИИ-агентам всё в одном файле без необходимости переходить по ссылкам. Используйте llms.txt как минимум, а llms-full.txt для полного охвата.

Создайте текстовый файл в корне вашего домена (например, example.com/llms.txt) в соответствии со спецификацией llmstxt.org. Начните с заголовка # (название вашего сайта), добавьте описание в виде цитаты, затем перечислите ссылки, организованные по разделам, таким как ## Documentation и ## Main. AgentReady может сгенерировать рекомендованный llms.txt на основе анализа вашей страницы.

Markdown — предпочтительный формат для ИИ-агентов, поскольку он сохраняет структуру контента (заголовки, списки, ссылки, выделения), устраняя визуальный шум разметки (CSS, JavaScript, div для макета). Markdown-версия вашего контента использует значительно меньше токенов, что делает обработку ИИ-системами быстрее и дешевле.

Согласование контента позволяет вашему серверу отдавать разные форматы одной и той же страницы в зависимости от заголовка Accept клиента. Когда ИИ-агент отправляет Accept: text/markdown, ваш сервер может ответить Markdown-версией вместо HTML. Это наиболее эффективный способ предоставления ИИ-дружественного контента без создания отдельных URL.

Существует два основных подхода: (1) Добавить серверную логику для обнаружения заголовков Accept: text/markdown и возврата Markdown-контента; (2) Создать .md-файлы рядом с вашими страницами (например, /about.md для /about) и указать на них в вашем llms.txt. AgentReady использует оба подхода для собственных страниц.

JSON-LD (JavaScript Object Notation for Linked Data) — это способ встраивания структурированных данных в ваши страницы с использованием словаря Schema.org. ИИ-агенты используют эти данные для извлечения фактической, машиночитаемой информации, такой как характеристики товаров, метаданные статей, информация об организации и многое другое — без необходимости разбирать ваш HTML.

Используйте наиболее конкретный тип, соответствующий вашему контенту: Article или BlogPosting для статей, Product для страниц товаров, Organization для страниц компании, FAQPage для страниц FAQ, LocalBusiness для местного бизнеса и WebApplication для веб-инструментов. Всегда включайте name, description и соответствующие свойства для выбранного типа.

Теги Open Graph (og:title, og:description, og:image) предоставляют стандартизированные метаданные, которые используют как социальные платформы, так и ИИ-агенты для понимания заголовка, описания и основного изображения вашей страницы. Они просты в реализации и служат надёжным запасным вариантом при отсутствии других структурированных данных.

robots.txt контролирует, какие боты могут получить доступ к вашему сайту и какие страницы они могут сканировать. ИИ-краулеры, такие как GPTBot и ClaudeBot, соблюдают директивы robots.txt. Если ваш robots.txt блокирует этих ботов, они не смогут проиндексировать ваш контент, что означает, что ваш сайт не будет появляться в ИИ-генерируемых ответах.

Для максимальной видимости в ИИ-генерируемых ответах разрешите как минимум: GPTBot (OpenAI), ClaudeBot и Claude-Web (Anthropic), PerplexityBot (Perplexity) и Google-Extended (Google Gemini). Вы можете добавить конкретные правила Allow для этих user-agent, сохраняя существующие правила для других ботов.

Content-Signal — это HTTP-заголовок, который сообщает ИИ-агентам, как они могут использовать ваш контент. Например: Content-Signal: ai-train=yes, search=yes, ai-input=yes сигнализирует, что ваш контент может использоваться для обучения ИИ, поисковой индексации и как входные данные для ИИ-ответов. Это более новый стандарт, дающий издателям явный контроль над использованием ИИ.

AgentReady загружает вашу страницу, извлекает контент и проводит 21 индивидуальную проверку по 5 взвешенным измерениям. Каждая проверка оценивается от 0 до 100, а измерения объединяются в общую оценку от 0 до 100. Вы получаете буквенную оценку (A–F), подробную разбивку и приоритетные рекомендации по улучшению вашей оценки.

5 измерений: Семантический HTML (20%) — правильное использование article, main, заголовков и семантических элементов; Эффективность контента (25%) — коэффициент сокращения токенов и соотношение контента к шуму; Обнаруживаемость ИИ (25%) — llms.txt, robots.txt, карта сайта и согласование Markdown; Структурированные данные (15%) — Schema.org, Open Graph и мета-теги; Доступность (15%) — контент без JavaScript, размер страницы и позиция контента.

Да! Анализ одной страницы полностью бесплатен и не требует регистрации. Вы получаете полную оценку, рекомендации, конвертацию в Markdown и предварительный просмотр llms.txt. Мы сейчас в бета-версии с лимитом 5 анализов в час. Полное сканирование домена и функции мониторинга скоро появятся.