よくある質問
AI対応、llms.txt、ウェブサイトをAIエージェント向けに最適化する方法について知っておくべきことすべて。
AI対応の基礎
AI対応度は、ウェブサイトのコンテンツがChatGPT、Claude、PerplexityなどのAIエージェントによってどれだけ理解、抽出、活用できるかを測定します。AI搭載ツールがウェブトラフィックの主要な源になるにつれ、AI対応サイトはより正確に引用され、AI生成回答により頻繁に表示され、処理に必要なトークンも少なくなります。
HTMLを視覚的にレンダリングするウェブブラウザとは異なり、AIエージェントはページからテキストコンテンツを抽出する必要があります。重いスタイリングの複雑なHTMLよりも、クリーンで構造化されたコンテンツを好みます。Markdownに変換された適切に構造化されたページは、生のHTMLと比べてトークンを70-80%少なく使用し、AIプロバイダーにとってより安価で効率的です。
主要なAIクローラーには、GPTBot(OpenAI/ChatGPT)、ClaudeBot(Anthropic/Claude)、PerplexityBot(Perplexity)、Google-Extended(Google Gemini)、Bytespider(ByteDance)、CCBot(Common Crawl)などがあります。エコシステムの成長に伴い、新しいAIエージェントが定期的に登場しています。
llms.txt
llms.txtはAIエージェントがウェブサイトの構造を理解するのに役立つ新しい標準(llmstxt.orgで定義)です。robots.txtが検索エンジンクローラーをガイドするように、llms.txtはサイトのMarkdown形式の概要と主要ページへのリンクを提供し、AIエージェントがコンテンツをナビゲートしやすくします。
llms.txtはサイトの主要ページの説明とリンクを含む簡潔なインデックスです。llms-full.txtはそれらのページの実際のコンテンツをインラインで含む拡張版で、AIエージェントがリンクをたどることなく1つのファイルですべてを取得できます。最低限llms.txtを、包括的なカバレッジにはllms-full.txtを使用してください。
ドメインのルート(例:example.com/llms.txt)にllmstxt.org仕様に従ってテキストファイルを作成してください。#見出し(サイト名)で始め、引用形式の説明を追加し、## Documentationや## Mainなどのセクションにリンクを整理してリストしてください。AgentReadyはページ分析に基づいて推奨llms.txtを生成できます。
AI向けMarkdown
Markdownは視覚的なマークアップノイズ(CSS、JavaScript、レイアウトdiv)を排除しながらコンテンツ構造(見出し、リスト、リンク、強調)を保持するため、AIエージェントに好まれるフォーマットです。コンテンツのMarkdownバージョンは大幅に少ないトークンを使用し、AIシステムによる処理をより高速で安価にします。
コンテンツネゴシエーションにより、クライアントのAcceptヘッダーに基づいて同じページの異なるフォーマットをサーバーが配信できます。AIエージェントがAccept: text/markdownを送信すると、サーバーはHTMLの代わりにMarkdownバージョンで応答できます。別のURLを作成せずにAIフレンドリーなコンテンツを配信する最も効率的な方法です。
主に2つのアプローチがあります:(1) Accept: text/markdownヘッダーを検出してMarkdownコンテンツを返すサーバーロジックを追加する;(2) ページの横に.mdファイルを作成し(例:/aboutに対して/about.md)、llms.txtからリンクする。AgentReadyは自身のページに両方のアプローチを使用しています。
構造化データとJSON-LD
JSON-LD(JavaScript Object Notation for Linked Data)はSchema.orgボキャブラリーを使用してページに構造化データを埋め込む方法です。AIエージェントはこのデータを使用して、製品詳細、記事メタデータ、組織情報などの事実に基づいた機械可読情報を、HTMLを解析することなく抽出します。
コンテンツに最も適した具体的なタイプを使用してください:記事にはArticleまたはBlogPosting、製品ページにはProduct、企業ページにはOrganization、FAQページにはFAQPage、地域ビジネスにはLocalBusiness、ウェブツールにはWebApplication。選択したタイプのname、description、関連プロパティを常に含めてください。
Open Graphタグ(og:title、og:description、og:image)はソーシャルプラットフォームとAIエージェントの両方がページのタイトル、説明、メイン画像を理解するために使用する標準化されたメタデータを提供します。実装が容易で、他の構造化データがない場合の信頼できるフォールバックとして機能します。
robots.txtとAIボット
robots.txtはどのボットがサイトにアクセスでき、どのページをクロールできるかを制御します。GPTBotやClaudeBotなどのAIクローラーはrobots.txtのディレクティブを尊重します。robots.txtがこれらのボットをブロックすると、コンテンツをインデックスできなくなり、AI生成回答にサイトが表示されなくなります。
AI生成回答での可視性を最大化するには、少なくとも以下を許可してください:GPTBot(OpenAI)、ClaudeBotとClaude-Web(Anthropic)、PerplexityBot(Perplexity)、Google-Extended(Google Gemini)。既存のルールを維持しながら、これらのユーザーエージェントに特定のAllowルールを追加できます。
Content-SignalはAIエージェントにコンテンツの使用方法を伝えるHTTPヘッダーです。例:Content-Signal: ai-train=yes, search=yes, ai-input=yesは、コンテンツがAIトレーニング、検索インデックス、AI回答の入力として使用できることを示します。これはパブリッシャーにAI使用に対する明示的な制御を与える新しい標準です。
AgentReadyスコアリング
AgentReadyはページを取得し、コンテンツを抽出し、5つの加重評価軸で21の個別チェックを実行します。各チェックは0-100で評価され、評価軸は0から100の総合スコアに統合されます。レターグレード(A-F)、詳細な内訳、スコア向上のための優先順位付き改善提案を受け取ります。
5つの評価軸は:セマンティックHTML(20%) — article、main、見出し、セマンティック要素の適切な使用;コンテンツ効率(25%) — トークン削減率とコンテンツ対ノイズ比;AI発見可能性(25%) — llms.txt、robots.txt、サイトマップ、Markdownネゴシエーション;構造化データ(15%) — Schema.org、Open Graph、メタタグ;アクセシビリティ(15%) — JavaScript不要のコンテンツ、ページサイズ、コンテンツ位置。
はい!単一ページ分析は完全に無料で、登録も不要です。完全なスコア、改善提案、Markdown変換、llms.txtプレビューを取得できます。現在ベータ版で、1時間あたり5回の分析制限があります。ドメイン全体のクロールとモニタリング機能は近日公開予定です。
便利なリソース
- llmstxt.org — llms.txt specification
- schema.org — Schema.org vocabulary
- w3.org/TR/json-ld11 — W3C JSON-LD specification
- ogp.me — Open Graph Protocol
- robotstxt.org — robots.txt standard
- commonmark.org — CommonMark Markdown specification
- RFC 7231 — HTTP Content Negotiation