Verifica gratuita dell'accesso AI

Se il tuo robots.txt permette a ogni tipo di crawler di scaricare la pagina: i crawler di ricerca AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot, Googlebot), le richieste per conto degli utenti (ChatGPT-User, Perplexity-User, Claude-User) e i crawler di addestramento dei modelli (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, meta-externalagent). Il blocco dei crawler di addestramento compare come una tua scelta, mai come un problema: non nasconde le tue pagine alla ricerca AI. Le regole vengono lette come prevede la RFC 9309, nello stesso modo del controllo AI Bot Permissions di una scansione completa.

Scarichiamo la pagina una volta come un browser e una volta con il nome di ciascun crawler di ricerca e di recupero su richiesta dell'utente, poi confrontiamo. Un crawler è trattato diversamente quando il suo codice di stato è diverso da quello del browser o quando riceve meno della metà dei contenuti. Le nostre richieste partono dai nostri server, non dagli indirizzi dei crawler veri, quindi ogni differenza porta l'indicazione non verificato: è un indizio da controllare nei log del tuo server o della CDN, non la prova che un fornitore sia bloccato.

Se l'HTML che il tuo server invia contiene già testo leggibile, oppure se la pagina è un guscio vuoto che JavaScript riempie in un secondo momento. Molti sistemi AI che scaricano le pagine non eseguono JavaScript, quindi vedono solo l'HTML iniziale.

Se un meta tag robots o un header X-Robots-Tag dice ai motori di ricerca di non indicizzare la pagina o di non mostrarne il testo (noindex, nosnippet, max-snippet:0, none).