AIクローラー互換性チェッカー

AIクローラーとは？

AIクローラーは、OpenAI、Anthropic、Googleなどの企業がAI製品向けにウェブコンテンツを発見しインデックスするために使用する自動ボットです。検索エンジンクローラー（Googlebot）と同様に、AIクローラーはrobots.txtのディレクティブ、X-Robots-Tagヘッダー、<meta> robotsタグを尊重します。

3つのアクセス制御レイヤー：
robots.txt — どのボットがサイトのどのパスにアクセスできるかを制御（サイト全体）。
X-Robots-Tag — ページまたはリソースレベルでインデックスを制御するHTTPヘッダー。
メタrobots — ページごとにインデックスを制御するHTMLタグ。ボット固有のオーバーライド対応。

このツールは12の主要AIクローラーについて3つのレイヤーすべてを同時にチェックし、統合された互換性ビューを提供します。

robots.txtとrobotsメタタグについて詳しく知る。