Blog

Un agente descarga tu HTML y tira casi todo. Cómo darle el Markdown limpio: negociación, la trampa del Vary, URLs .md y los curl para comprobarlo.

El robots.txt dice si un bot puede descargar una página. Content-Signal dice qué puede hacer luego: indexar, responder, entrenar. Tres casos reales.

Ficheros robots.txt completos para los tres casos que importan: dejar entrar a todos, permitir búsqueda pero no entrenamiento, o bloquear la IA.

Medimos doce páginas conocidas con nuestro propio motor. De media, el 98% de lo que envían nunca llega al modelo. Esto es lo que sobrevive, y por qué.

Casi nunca es el modelo. Cinco formas de romperse en la capa de lectura, medidas sobre páginas reales, incluida aquella en la que renderizar expira.

Tres cosas deciden si un asistente de IA puede citarte: el robots.txt, el JavaScript y cuánto contenido sobrevive a la extracción.

Los agentes de IA leen tu web por otra puerta distinta a la de las personas. AgentReady mide lo que encuentran y te dice qué cambiar primero.

El escáner de Cloudflare mira qué protocolos declara tu web. El nuestro, si tu contenido sobrevive a la lectura. Querrás las dos respuestas.