Проанализированный URL
https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false
Измерено на прошлой неделе
Этот сайт отвечает ИИ-краулерам иначе
Мы запросили эту страницу дважды. Как обычный клиент мы получили HTTP 200; представившись как OAI-SearchBot — краулер, который добавляет страницы в поисковый индекс ChatGPT, — мы получили HTTP 403. Что-то перед вашим сайтом фильтрует по тому, кто спрашивает.
Наша проба идёт с наших собственных серверов, а Akamai проверяет краулеров по IP-адресу, а не по имени. Поэтому этот отказ может быть направлен на клиентов, выдающих себя за краулера, тогда как настоящий проходит, — снаружи различить невозможно. Проверьте правила для ботов в Akamai, чтобы понять, что именно происходит. Всё остальное в этом отчёте не имеет значения, если краулер никогда не доходит до ваших страниц.
Оценка AI-Ready
Неудовлетворительно
из 100
Экономия токенов
Разбивка оценки
Новые протоколы
Обнаружено 0 из 6Well-known эндпоинты, которые ищут ИИ-агенты. Обнаружено — значит агент может автоматически найти и подключиться к вашему сервису.
-
OAuth Protected Resource RFC 9728
/.well-known/oauth-protected-resource -
OAuth Discovery RFC 8414
/.well-known/oauth-authorization-server -
MCP Server Card SEP-1649 draft
/.well-known/mcp/server-card.json -
A2A Agent Card A2A v1.0
/.well-known/agent-card.json -
API Catalog RFC 9727
/.well-known/api-catalog -
Agent Skills index Discovery RFC v0.2.0 draft
/.well-known/agent-skills/index.json
Само это не удержится. Мониторинга пока нет — запишитесь, и мы сообщим, когда он появится.
Вы в списке! Мы уведомим вас о запуске.
Что мы измерили 5/5 AI search bots blocked: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, Amazonbot
Ваш robots.txt блокирует некоторых ИИ-ботов (GPTBot, ClaudeBot, PerplexityBot). Это не позволяет ИИ-агентам индексировать ваш контент.
Как внедрить
Обновите robots.txt, чтобы разрешить ИИ-ботов. Добавьте явные правила Allow для GPTBot, ClaudeBot и PerplexityBot.
Что мы измерили Main content starts at 100% of HTML
Основной контент появляется поздно в HTML-документе. ИИ-агенты могут придавать больший вес контенту, расположенному в начале.
Как внедрить
Перестройте HTML так, чтобы контент <main> или <article> появлялся перед боковыми панелями и дополнительным контентом.
Что мы измерили No JSON-LD / Schema.org found
Структурированные данные Schema.org не найдены. JSON-LD помогает ИИ-агентам извлекать фактическую, структурированную информацию из ваших страниц.
Как внедрить
Добавьте блок <script type="application/ld+json"> с разметкой Schema.org. Используйте подходящие типы: Article для статей блога, Product для страниц товаров, Organization для страницы компании.
Что мы измерили No Markdown for Agents support detected
Ваш сайт не поддерживает Markdown for Agents. Этот стандарт Cloudflare позволяет ИИ-агентам запрашивать контент в формате markdown, сокращая использование токенов на ~80%.
Как внедрить
Реализуйте одно или несколько: (1) Отвечать на Accept: text/markdown контентом в формате markdown. (2) Обслуживать URL с .md (например, /page.md). (3) Добавить теги <link rel="alternate" type="text/markdown">. (4) Добавить HTTP-заголовки Link для обнаружения markdown.
Что мы измерили No headings found
Структура заголовков вашей страницы имеет проблемы (пропущенные уровни или несколько тегов h1). Чёткая иерархия помогает ИИ-агентам понять организацию контента.
Как внедрить
Убедитесь, что на странице ровно один <h1>, а заголовки следуют последовательному порядку: h1 > h2 > h3. Не пропускайте уровни (например, h1 сразу к h3).
Что мы измерили 0/3 OG tags present
Отсутствуют или неполные теги Open Graph. OG-теги помогают ИИ-агентам (и социальным платформам) понять заголовок, описание и изображение вашей страницы.
Как внедрить
Добавьте мета-теги og:title, og:description и og:image в <head> вашей страницы.
Что мы измерили No meta description
Мета-описание не найдено. Этот тег предоставляет краткое описание страницы для ИИ-агентов и поисковых систем.
Как внедрить
Добавьте тег <meta name="description" content="..."> с описанием содержимого страницы длиной 150–160 символов.
Что мы измерили Missing <article> and <main> elements
Ваша страница не использует элементы <article> или <main>. Эти семантические контейнеры помогают ИИ-агентам определить основную область контента и игнорировать навигацию, боковые панели и подвал.
Как внедрить
Добавьте элемент <main> вокруг основного контента вашей страницы и используйте <article> для самостоятельных блоков контента, таких как записи блога или описания товаров.
Что мы измерили No sitemap found
Карта сайта не найдена. Sitemap помогает ИИ-агентам обнаруживать все страницы вашего сайта.
Как внедрить
Создайте /sitemap.xml со списком всех ваших публичных страниц. Большинство CMS-платформ могут генерировать его автоматически.
Что мы измерили No canonical URL
Канонический URL не найден. Он помогает ИИ-агентам определить предпочтительную версию страницы и избежать дублирования контента.
Как внедрить
Добавьте тег <link rel="canonical" href="..."> с каноническим URL страницы.

DPG Media Privacy Gate 
Загрузите этот файл как /consent.md на ваш сервер, чтобы ИИ-агенты могли получить доступ к чистой версии вашей страницы. Вы также можете настроить согласование контента Accept: text/markdown для автоматической отдачи.
Сгенерированный llms.txt для этой отдельной страницы
# myprivacy.dpgmedia.nl ## Main - [DPG Media Privacy Gate](https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false)
Полный llms.txt требует анализа всего домена (скоро появится)
Загрузите этот файл по адресу https://myprivacy.dpgmedia.nl/llms.txt в корень вашего домена. ИИ-агенты, такие как ChatGPT, Claude и Perplexity, проверяют этот файл для понимания структуры вашего сайта.
Доступность
Content available without JavaScript
Main content starts at 100% of HTML
Page size: 8KB
Обнаруживаемость ИИ
5/5 AI search bots blocked: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, Amazonbot
No sitemap found
robots.txt exists
No llms.txt found
Структурированные данные
No JSON-LD / Schema.org found
0/3 OG tags present
No meta description
No canonical URL
lang="nl"
Семантический HTML
No headings found
Missing <article> and <main> elements
0 semantic elements, 8 divs (ratio: 0%)
1/1 images with meaningful alt text
Avg div depth: 2.5, max: 5
Эффективность контента
99% token reduction (HTML→Markdown)
Content ratio: 0.0% (0 content chars / 7900 HTML bytes)
HTML size: 8KB
4/27 elements with inline styles (14.8%)
{
"url": "https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false",
"timestamp": 1787743232017,
"fetch": {
"mode": "simple",
"timeMs": 125,
"htmlSizeBytes": 7900,
"supportsMarkdown": false,
"markdownAgents": {
"contentNegotiation": false,
"mdUrl": {
"found": false,
"url": null
},
"linkTag": {
"found": false,
"url": null
},
"linkHeader": {
"found": false,
"url": null
},
"responseHeaders": {
"contentSignal": null,
"xMarkdownTokens": null,
"vary": null
},
"frontmatter": {
"present": false,
"fields": [],
"level": "none"
},
"level": "none"
},
"statusCode": 200
},
"extraction": {
"title": "DPG Media Privacy Gate",
"excerpt": "",
"byline": null,
"siteName": null,
"lang": "nl",
"contentLength": 0,
"metadata": {
"description": null,
"ogTitle": null,
"ogDescription": null,
"ogImage": null,
"ogType": null,
"canonical": null,
"lang": "nl",
"schemas": [],
"robotsMeta": null,
"author": null,
"generator": null,
"markdownAlternateHref": null
}
},
"markdown": "\n",
"fullPageMarkdown": "DPG Media Privacy Gate\n\n\n",
"markdownStats": {
"images": 1,
"links": 0,
"tables": 0,
"codeBlocks": 0,
"headings": 0
},
"tokens": {
"htmlTokens": 1906,
"markdownTokens": 27,
"reduction": 1879,
"reductionPercent": 99
},
"score": {
"score": 37,
"grade": "F",
"rubricVersion": 2,
"dimensions": {
"accessibility": {
"score": 75,
"weight": 30,
"grade": "B",
"checks": {
"content_without_js": {
"score": 100,
"weight": 55,
"evidence": "proven",
"details": "Content available without JavaScript"
},
"fast_content_position": {
"score": 0,
"weight": 25,
"evidence": "plausible",
"details": "Main content starts at 100% of HTML"
},
"reasonable_page_size": {
"score": 100,
"weight": 20,
"evidence": "plausible",
"details": "Page size: 8KB"
}
}
},
"aiDiscoverability": {
"score": 10,
"weight": 25,
"grade": "F",
"checks": {
"robots_allows_ai_bots": {
"score": 0,
"weight": 35,
"evidence": "proven",
"details": "5/5 AI search bots blocked: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, Amazonbot"
},
"supports_markdown_negotiation": {
"score": 0,
"weight": 20,
"evidence": "plausible",
"details": "No Markdown for Agents support detected"
},
"has_sitemap": {
"score": 0,
"weight": 15,
"evidence": "plausible",
"details": "No sitemap found"
},
"has_robots_txt": {
"score": 100,
"weight": 10,
"evidence": "plausible",
"details": "robots.txt exists"
},
"has_llms_txt": {
"score": 0,
"weight": 10,
"evidence": "speculative",
"details": "No llms.txt found"
},
"has_content_signals": {
"score": 0,
"weight": 10,
"evidence": "speculative",
"details": "No Content-Signal found (robots.txt or HTTP headers)"
}
}
},
"structuredData": {
"score": 10,
"weight": 20,
"grade": "F",
"checks": {
"has_schema_org": {
"score": 0,
"weight": 35,
"evidence": "proven",
"details": "No JSON-LD / Schema.org found"
},
"has_open_graph": {
"score": 0,
"weight": 20,
"evidence": "plausible",
"details": "0/3 OG tags present"
},
"has_meta_description": {
"score": 0,
"weight": 20,
"evidence": "plausible",
"details": "No meta description"
},
"has_canonical_url": {
"score": 0,
"weight": 15,
"evidence": "plausible",
"details": "No canonical URL"
},
"has_lang_attribute": {
"score": 100,
"weight": 10,
"evidence": "plausible",
"details": "lang=\"nl\""
}
}
},
"semanticHtml": {
"score": 25,
"weight": 15,
"grade": "F",
"checks": {
"proper_heading_hierarchy": {
"score": 0,
"weight": 30,
"evidence": "plausible",
"details": "No headings found"
},
"uses_article_or_main": {
"score": 0,
"weight": 25,
"evidence": "plausible",
"details": "Missing <article> and <main> elements"
},
"semantic_elements": {
"score": 0,
"weight": 20,
"evidence": "plausible",
"details": "0 semantic elements, 8 divs (ratio: 0%)"
},
"meaningful_alt_texts": {
"score": 100,
"weight": 15,
"evidence": "plausible",
"details": "1/1 images with meaningful alt text"
},
"low_div_nesting": {
"score": 100,
"weight": 10,
"evidence": "speculative",
"details": "Avg div depth: 2.5, max: 5"
}
}
},
"contentEfficiency": {
"score": 60,
"weight": 10,
"grade": "C",
"checks": {
"token_reduction_ratio": {
"score": 100,
"weight": 40,
"evidence": "speculative",
"details": "99% token reduction (HTML→Markdown)"
},
"content_to_noise_ratio": {
"score": 0,
"weight": 30,
"evidence": "speculative",
"details": "Content ratio: 0.0% (0 content chars / 7900 HTML bytes)"
},
"reasonable_page_weight": {
"score": 100,
"weight": 20,
"evidence": "speculative",
"details": "HTML size: 8KB"
},
"minimal_inline_styles": {
"score": 0,
"weight": 10,
"evidence": "speculative",
"details": "4/27 elements with inline styles (14.8%)"
}
}
}
}
},
"recommendations": [
{
"id": "allow_ai_bots",
"priority": "critical",
"category": "aiDiscoverability",
"titleKey": "rec.allow_ai_bots.title",
"descriptionKey": "rec.allow_ai_bots.description",
"howToKey": "rec.allow_ai_bots.howto",
"effort": "quick-win",
"estimatedImpact": 8.8,
"maxImpact": 8.8,
"evidence": "proven",
"checkScore": 0,
"checkDetails": "5/5 AI search bots blocked: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, Amazonbot"
},
{
"id": "move_content_earlier",
"priority": "critical",
"category": "accessibility",
"titleKey": "rec.move_content_earlier.title",
"descriptionKey": "rec.move_content_earlier.description",
"howToKey": "rec.move_content_earlier.howto",
"effort": "moderate",
"estimatedImpact": 7.5,
"maxImpact": 7.5,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "Main content starts at 100% of HTML"
},
{
"id": "add_schema_org",
"priority": "critical",
"category": "structuredData",
"titleKey": "rec.add_schema_org.title",
"descriptionKey": "rec.add_schema_org.description",
"howToKey": "rec.add_schema_org.howto",
"effort": "moderate",
"estimatedImpact": 7,
"maxImpact": 7,
"evidence": "proven",
"checkScore": 0,
"checkDetails": "No JSON-LD / Schema.org found"
},
{
"id": "add_markdown_negotiation",
"priority": "critical",
"category": "aiDiscoverability",
"titleKey": "rec.add_markdown_negotiation.title",
"descriptionKey": "rec.add_markdown_negotiation.description",
"howToKey": "rec.add_markdown_negotiation.howto",
"effort": "significant",
"estimatedImpact": 5,
"maxImpact": 5,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "No Markdown for Agents support detected"
},
{
"id": "fix_heading_hierarchy",
"priority": "high",
"category": "semanticHtml",
"titleKey": "rec.fix_heading_hierarchy.title",
"descriptionKey": "rec.fix_heading_hierarchy.description",
"howToKey": "rec.fix_heading_hierarchy.howto",
"effort": "quick-win",
"estimatedImpact": 4.5,
"maxImpact": 4.5,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "No headings found"
},
{
"id": "add_open_graph",
"priority": "high",
"category": "structuredData",
"titleKey": "rec.add_open_graph.title",
"descriptionKey": "rec.add_open_graph.description",
"howToKey": "rec.add_open_graph.howto",
"effort": "quick-win",
"estimatedImpact": 4,
"maxImpact": 4,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "0/3 OG tags present"
},
{
"id": "add_meta_description",
"priority": "high",
"category": "structuredData",
"titleKey": "rec.add_meta_description.title",
"descriptionKey": "rec.add_meta_description.description",
"howToKey": "rec.add_meta_description.howto",
"effort": "quick-win",
"estimatedImpact": 4,
"maxImpact": 4,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "No meta description"
},
{
"id": "add_article_main",
"priority": "high",
"category": "semanticHtml",
"titleKey": "rec.add_article_main.title",
"descriptionKey": "rec.add_article_main.description",
"howToKey": "rec.add_article_main.howto",
"effort": "quick-win",
"estimatedImpact": 3.8,
"maxImpact": 3.8,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "Missing <article> and <main> elements"
},
{
"id": "add_sitemap",
"priority": "high",
"category": "aiDiscoverability",
"titleKey": "rec.add_sitemap.title",
"descriptionKey": "rec.add_sitemap.description",
"howToKey": "rec.add_sitemap.howto",
"effort": "quick-win",
"estimatedImpact": 3.8,
"maxImpact": 3.8,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "No sitemap found"
},
{
"id": "add_canonical_url",
"priority": "high",
"category": "structuredData",
"titleKey": "rec.add_canonical_url.title",
"descriptionKey": "rec.add_canonical_url.description",
"howToKey": "rec.add_canonical_url.howto",
"effort": "quick-win",
"estimatedImpact": 3,
"maxImpact": 3,
"evidence": "plausible",
"checkScore": 0,
"checkDetails": "No canonical URL"
}
],
"llmsTxtPreview": "# myprivacy.dpgmedia.nl\n\n## Main\n- [DPG Media Privacy Gate](https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false)\n\n",
"llmsTxtExisting": null,
"emergingProtocols": {
"oauthProtectedResource": {
"exists": false,
"url": "https://myprivacy.dpgmedia.nl/.well-known/oauth-protected-resource"
},
"oauthDiscovery": {
"exists": false,
"url": "https://myprivacy.dpgmedia.nl/.well-known/oauth-authorization-server"
},
"mcpServerCard": {
"exists": false,
"url": "https://myprivacy.dpgmedia.nl/.well-known/mcp/server-card.json",
"draft": true
},
"a2aAgentCard": {
"exists": false,
"url": "https://myprivacy.dpgmedia.nl/.well-known/agent-card.json"
},
"apiCatalog": {
"exists": false,
"url": "https://myprivacy.dpgmedia.nl/.well-known/api-catalog"
},
"agentSkills": {
"exists": false,
"url": "https://myprivacy.dpgmedia.nl/.well-known/agent-skills/index.json",
"draft": true
},
"count": 0,
"total": 6
},
"botAccess": {
"probed": true,
"bot": "OAI-SearchBot",
"controlStatus": 200,
"botStatus": 403,
"discriminates": true,
"refusedAsBot": true,
"edge": "Akamai",
"verifiable": false,
"detail": "This origin answers 200 to an ordinary client but 403 to a client identifying as OAI-SearchBot, behind Akamai. Whether the verified crawler is also turned away cannot be determined from outside: check the bot rules in your Akamai dashboard."
},
"snippets": [
{
"id": "fix_heading_hierarchy",
"title": "Fix heading hierarchy",
"description": "Your page has no <h1>. Every page needs exactly one <h1> as the main heading. Add it inside your <main> or <article>.",
"language": "html",
"code": "<h1>DPG Media Privacy Gate</h1>",
"filename": "<main> or <article>"
},
{
"id": "add_open_graph",
"title": "Add missing Open Graph tags",
"description": "Open Graph tags control how your page looks when shared on social media and how AI platforms preview your URL in answers.",
"language": "html",
"code": "<meta property=\"og:title\" content=\"DPG Media Privacy Gate\">\n<meta property=\"og:description\" content=\"Page description.\">\n<meta property=\"og:image\" content=\"https://yoursite.com/og-image.jpg\">\n<meta property=\"og:url\" content=\"https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false\">\n<meta property=\"og:type\" content=\"website\">",
"filename": "<head>",
"stacks": [
{
"id": "html",
"label": "HTML <head>",
"language": "html",
"filename": "<head>",
"code": "<meta property=\"og:title\" content=\"DPG Media Privacy Gate\">\n<meta property=\"og:description\" content=\"Page description.\">\n<meta property=\"og:image\" content=\"https://yoursite.com/og-image.jpg\">\n<meta property=\"og:url\" content=\"https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false\">\n<meta property=\"og:type\" content=\"website\">"
},
{
"id": "wordpress",
"label": "WordPress",
"language": "php",
"filename": "functions.php",
"code": "<?php\n// Quick Open Graph tags without a plugin (skip if Yoast / Rank Math is active)\nadd_action('wp_head', function () {\n if (!is_singular()) return;\n $post = get_queried_object();\n $title = get_the_title($post);\n $desc = get_the_excerpt($post) ?: wp_trim_words(strip_tags($post->post_content), 30);\n $image = get_the_post_thumbnail_url($post, 'large') ?: 'https://yoursite.com/og-image.jpg';\n $url = get_permalink($post);\n printf('<meta property=\"og:title\" content=\"%s\">' . \"\\n\", esc_attr($title));\n printf('<meta property=\"og:description\" content=\"%s\">' . \"\\n\", esc_attr($desc));\n printf('<meta property=\"og:image\" content=\"%s\">' . \"\\n\", esc_url($image));\n printf('<meta property=\"og:url\" content=\"%s\">' . \"\\n\", esc_url($url));\n echo '<meta property=\"og:type\" content=\"article\">' . \"\\n\";\n}, 5);"
},
{
"id": "nextjs",
"label": "Next.js",
"language": "typescript",
"filename": "app/page.tsx",
"code": "// Next.js App Router — Metadata API\nimport type { Metadata } from 'next';\n\nexport const metadata: Metadata = {\n title: \"DPG Media Privacy Gate\",\n description: \"Page description.\",\n openGraph: {\n title: \"DPG Media Privacy Gate\",\n description: \"Page description.\",\n url: \"https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false\",\n images: [\"https://yoursite.com/og-image.jpg\"],\n type: 'website',\n },\n};"
}
]
},
{
"id": "add_meta_description",
"title": "Add meta description",
"description": "A good meta description (50-160 characters) helps AI agents understand your page quickly.",
"language": "html",
"code": "<meta name=\"description\" content=\"DPG Media Privacy Gate\">",
"filename": "<head>"
},
{
"id": "add_canonical_url",
"title": "Add canonical URL",
"description": "The canonical URL tells AI agents which version of the page is the \"official\" one, avoiding duplicate content issues.",
"language": "html",
"code": "<link rel=\"canonical\" href=\"https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false\">",
"filename": "<head>"
},
{
"id": "add_schema_org",
"title": "Add Schema.org JSON-LD",
"description": "Structured data helps AI agents understand the type, author, and purpose of your content.",
"language": "html",
"code": "<script type=\"application/ld+json\">\n{\n \"@context\": \"https://schema.org\",\n \"@type\": \"WebPage\",\n \"name\": \"DPG Media Privacy Gate\",\n \"description\": \"Page description.\",\n \"url\": \"https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false\",\n \"inLanguage\": \"nl\"\n}\n</script>",
"filename": "<head>"
},
{
"id": "allow_ai_bots",
"title": "Allow AI bots in robots.txt",
"description": "Some AI bots are blocked in your robots.txt. Remove or modify these Disallow rules to let AI agents index your content.",
"language": "txt",
"code": "# Add to your robots.txt — explicitly allow AI bots:\nUser-agent: GPTBot\nAllow: /\n\nUser-agent: ClaudeBot\nAllow: /\n\nUser-agent: PerplexityBot\nAllow: /",
"filename": "/robots.txt"
},
{
"id": "add_sitemap",
"title": "Create /sitemap.xml",
"description": "A sitemap helps AI agents discover all your pages. Most CMS platforms generate one automatically.",
"language": "xml",
"code": "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<urlset xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\">\n <url>\n <loc>https://myprivacy.dpgmedia.nl/consent?siteKey=irnjtbdrcefsqexe&callbackUrl=https%3A%2F%2Falarmeringen.nl%2Fprivacygate-confirm%3FredirectUri%3D%252F&isLoggedIn=false</loc>\n <lastmod>2026-08-26</lastmod>\n </url>\n</urlset>",
"filename": "/sitemap.xml"
},
{
"id": "add_article_main",
"title": "Wrap content in <main> and <article>",
"description": "Semantic HTML landmarks help AI agents identify the main content of your page.",
"language": "html",
"code": "<main>\n <article>\n <h1>Your Page Title</h1>\n <p>Your content here...</p>\n </article>\n</main>",
"filename": "<body>"
},
{
"id": "add_markdown_negotiation",
"title": "Support Markdown for Agents",
"description": "Let AI agents request a clean Markdown version of any page via content negotiation, .md alternate URLs, link tags or Link headers.",
"language": "html",
"code": "<!-- Mechanism 3: link tag advertising the .md alternate -->\n<link rel=\"alternate\" type=\"text/markdown\" href=\"/page.md\">",
"filename": "<head>",
"stacks": [
{
"id": "html",
"label": "HTML <head>",
"language": "html",
"filename": "<head>",
"code": "<!-- Mechanism 3: link tag advertising the .md alternate -->\n<link rel=\"alternate\" type=\"text/markdown\" href=\"/page.md\">"
},
{
"id": "express",
"label": "Express",
"language": "javascript",
"filename": "server.js",
"code": "// Mechanisms 1 + 4: content negotiation + Link header\napp.get('/page', (req, res) => {\n res.setHeader('Vary', 'Accept');\n res.setHeader('Link', '</page.md>; rel=\"alternate\"; type=\"text/markdown\"');\n if ((req.headers.accept || '').includes('text/markdown')) {\n res.type('text/markdown; charset=utf-8');\n return res.send(renderMarkdown('page'));\n }\n res.render('page');\n});"
},
{
"id": "fastify",
"label": "Fastify",
"language": "javascript",
"filename": "server.js",
"code": "// Mechanisms 1 + 4: content negotiation + Link header\nfastify.get('/page', async (req, reply) => {\n reply.header('Vary', 'Accept');\n reply.header('Link', '</page.md>; rel=\"alternate\"; type=\"text/markdown\"');\n if ((req.headers.accept || '').includes('text/markdown')) {\n return reply.type('text/markdown; charset=utf-8').send(renderMarkdown('page'));\n }\n return reply.view('/page.ejs');\n});"
},
{
"id": "nextjs",
"label": "Next.js",
"language": "typescript",
"filename": "app/page/route.ts",
"code": "// Next.js App Router — Route Handler returning Markdown\nimport { NextRequest } from 'next/server';\nimport { renderMarkdown } from '@/lib/md';\nexport async function GET(req: NextRequest) {\n const accept = req.headers.get('accept') || '';\n if (accept.includes('text/markdown')) {\n return new Response(await renderMarkdown('page'), {\n headers: {\n 'Content-Type': 'text/markdown; charset=utf-8',\n 'Vary': 'Accept',\n },\n });\n }\n // Fall through to the page component\n return new Response(null, { status: 404 });\n}"
},
{
"id": "wordpress",
"label": "WordPress",
"language": "php",
"filename": "functions.php",
"code": "<?php\n// Mechanism 1: respond to Accept: text/markdown on the same URL\nadd_action('template_redirect', function () {\n if (!is_singular()) return;\n $accept = $_SERVER['HTTP_ACCEPT'] ?? '';\n if (strpos($accept, 'text/markdown') === false) return;\n header('Content-Type: text/markdown; charset=utf-8');\n header('Vary: Accept');\n $post = get_queried_object();\n echo \"# \" . get_the_title($post) . \"\\n\\n\";\n echo wp_strip_all_tags(apply_filters('the_content', $post->post_content));\n exit;\n});"
},
{
"id": "static",
"label": "Hugo / Jekyll / Astro",
"language": "txt",
"filename": "static/page.md",
"code": "# Mechanism 2: serve .md alongside .html\n# Hugo: place page.md in /static/ — built unchanged\n# Jekyll: drop page.md in /assets/ — copied as-is\n# Astro: src/pages/page.md.ts that exports a GET returning markdown\n\n# Then advertise with mechanism 3 in <head>:\n# <link rel=\"alternate\" type=\"text/markdown\" href=\"/page.md\">"
}
]
}
]
}
Используйте наш API для программного получения данных (скоро появится)
Этот JSON предназначен для внутреннего использования — в отличие от файлов Markdown и llms.txt, его не нужно загружать на ваш сайт. Сохраните его как базовый показатель для отслеживания оценки со временем, поделитесь с командой разработчиков или интегрируйте в ваш CI/CD-конвейер.
Поделитесь результатами
Или попросите ИИ помочь это исправить
Нужно второе мнение?
У Cloudflare тоже есть бесплатный сканер, и он задаёт другой вопрос. Он оценивает то, что ваш сайт публикует для вызова агентами: MCP server cards, Agent Skills, каталоги API, DNS-записи. Мы оцениваем, может ли агент добраться до вашего контента, прочитать и понять его. Сайт может быть хорош в одном и плох в другом, так что ждите двух разных чисел: это ответы на два разных вопроса, и знать стоит оба.
Проверить myprivacy.dpgmedia.nl через CloudflareВстройте ваш бейдж
Добавьте этот бейдж на ваш сайт. Он обновляется автоматически при изменении вашей оценки ИИ-готовности.
<script src="https://agentready.md/badge.js" data-id="31d2ccc4-c866-4b5f-9d7f-cecb4c93c0fe" data-domain="myprivacy.dpgmedia.nl"></script>
[](https://agentready.md/ru/r/myprivacy.dpgmedia.nl)
Скоро: Полный анализ домена
Сканируйте весь домен, генерируйте llms.txt и отслеживайте оценку ИИ-готовности со временем. Присоединяйтесь к списку ожидания.
Вы в списке! Мы уведомим вас о запуске.