Blog

Um agente descarrega o teu HTML e deita fora quase tudo. Como lhe entregar o Markdown limpo: negociação, a armadilha do Vary e as URLs .md.

O robots.txt só responde se um bot pode descarregar uma página. O Content-Signal diz o que pode fazer depois: indexar, responder, treinar.

Ficheiros robots.txt completos para os três casos que interessam: deixar entrar tudo, permitir pesquisa mas não treino, ou bloquear a IA.

Medimos doze páginas conhecidas com o nosso motor. Em média, 98% do que enviam nunca chega ao modelo. Isto é o que sobrevive, e porquê.

Quase nunca é o modelo. Cinco modos de falha na camada de leitura, medidos em páginas reais, incluindo aquele em que renderizar expira.

Três coisas decidem se uma IA pode citar o teu site: o robots.txt, o JavaScript e quanto conteúdo sobrevive à extração. Como verificar as três.

Os agentes de IA leem o teu site por uma porta diferente da das pessoas. O AgentReady mede o que encontram e diz-te o que mudar primeiro.

O scanner da Cloudflare verifica que protocolos o teu site declara. O nosso, se o teu conteúdo sobrevive à leitura. Vais querer as duas respostas.