AI Crawlers Also Reach You by Following Backlinks
Un'ipotesi di crawler forensics. I tuoi server log contengono già un indice approssimativo delle pagine di terze parti che più probabilmente alimentano ciò che l'AI dice del tuo brand. Con ogni probabilità stai raccogliendo il dato e buttando via il segnale.
La maggior parte delle persone immagina gli AI crawler come immagina Googlebot: legge la tua sitemap, percorre i tuoi link interni e indicizza le tue pagine. Questo accade. Ma non è l'unico modo in cui GPTBot e gli altri ti raggiungono.
Arrivano anche seguendo un backlink: un thread di forum che ti confronta con un concorrente, una recensione su un sito di cui non hai mai sentito parlare, un articolo riepilogativo che linka alla tua pagina prodotto. Quando un AI crawler segue uno di quei link, avviene quasi in tempo reale e finisce nei tuoi access log con un timestamp.
Il modo comune per scoprire quali pagine di terze parti stanno plasmando le risposte dell'AI è interrogare ChatGPT, Perplexity e gli altri ed estrarre le fonti dal JSON che restituiscono. Funziona, e dovresti farlo. Ma guarda il problema dall'esterno, un prompt alla volta. I tuoi log ti permettono di guardare dall'interno, in modo continuo, su dati che nessuno può limitare o togliere.
Most Crawlers Will Not Tell You Where They Came From
Un backlink seguito è utile solo se il crawler ti dice quale pagina ha seguito, e questo risiede in un unico posto: il Referer header che il crawler invia con la sua richiesta.
Quasi nessuno dei crawler LLM lo invia. Recuperano la tua pagina e non registrano nulla su dove sono stati. Vedi la visita. Non vedi la fonte.
Quindi la maggior parte del crawling che ti interessa è anonima all'origine. Puoi dimostrare che un bot AI ha visitato. Non puoi dimostrare cosa lo ha inviato. Un crawler colma questa lacuna.
PetalBot Is the Exception
PetalBot è il crawler dietro Petal Search di Huawei. Non è il bot di un laboratorio AI. Ma fa una cosa che quasi nessun altro fa: nelle sue richieste, riporta il referring URL. La pagina di terze parti esatta che ha seguito per raggiungere la tua, query string compresa.
Nei nostri log, quel comportamento non è occasionale. È la regola.
Una singola riga di log di PetalBot colma la lacuna. Una normale hit di AI crawler ti dice che è arrivato un bot. Una hit di PetalBot ti dice che è arrivato un bot e nomina la pagina che lo ha inviato.
203.0.113.x - - [20/Jul/2026:14:22:07 +0000] "GET /products/widget-pro HTTP/1.1" 200 18244 "https://forum.example.com/thread/best-widgets-2026?sort=top" "PetalBot"
Collochiamo inoltre PetalBot tra i crawler più educati che vediamo, misurato per picco di richieste al minuto nei nostri log. Non sta martellando il tuo origin. C'è poco costo operativo nel lasciarlo stare, e un vero costo in termini di segnale nel bloccarlo.
PetalBot and the LLM Crawlers Read the Same Web
Il passo successivo è dove il metodo smette di essere osservazione e diventa inferenza.
PetalBot e i crawler LLM stanno in gran parte leggendo lo stesso web. Seguono gli stessi link, dagli stessi siti di recensioni, forum e articoli di confronto, perché è lì che vivono le menzioni del tuo brand. Quindi quando PetalBot ti consegna un referring URL, sta puntando a una pagina che plausibilmente stanno leggendo anche i crawler AI.
PetalBot riporta il suo referrer e i crawler LLM no. Usa ciò che riporta come sostituto di ciò che loro trattengono.
La tecnica è la triangolazione. Non puoi vedere il target direttamente, quindi misuri qualcosa che si muove con esso. Qui, la cosa misurabile è la traccia di referral di PetalBot, che sta in un file di log che già possiedi.
Build the Graph: From Raw Logs to a Citation Shortlist
Niente di tutto questo richiede un nuovo strumento. Richiede i log che già raccogli e alcuni passaggi di filtraggio.
Registra all'edge, e conserva il Referer header
Cattura le richieste a livello di server o CDN, non in un tag JavaScript, perché i crawler non eseguono il tag. L'unico campo da cui dipende tutto questo metodo è Referer. Se il tuo logging lo rimuove, o tronca le query string, sistemalo per primo. Non puoi recuperare un header che non hai mai memorizzato.
Filtra le hit di PetalBot che trasportano un referrer di terze parti
Individua lo user-agent di PetalBot, poi conserva solo le hit il cui referrer punta a un dominio che non è il tuo. Quei referrer esterni sono i tuoi citation candidate. Scarta i self-referral e i referrer vuoti; a questo scopo sono rumore.
Deduplica in pagine, poi aggrega in domini
Lo stesso thread di forum comparirà molte volte. Riduci gli URL ripetuti in pagine uniche, poi raggruppa le pagine sotto il loro dominio. Ora hai due viste: le singole pagine che ti linkano, e i siti su cui quelle pagine vivono.
Pondera per recency e ricorrenza
Un referrer visto cinquanta volte questa settimana batte uno visto una sola volta lo scorso trimestre. Pondera ogni candidate in base a quanto spesso ricorre e a quanto di recente è stato percorso l'ultima volta. La recency è la metà importante: una pagina esplorata adesso è una pagina in circolazione adesso.
Incrocia con i crawler LLM sulle tue stesse pagine
Allinea la tempistica. Quando un referral di PetalBot punta alla tua pagina prodotto, verifica se GPTBot, ClaudeBot o gli altri hanno colpito quella stessa pagina nella stessa finestra. Una sovrapposizione nella tempistica rafforza la tesi che la pagina di terze parti faccia parte di ciò che l'AI sta attualmente leggendo su di te.
Ordinala, e trattala come una shortlist
Ciò che ne esce è una lista ordinata di pagine e domini di terze parti che più probabilmente alimentano le risposte dell'AI sul tuo brand, costruita interamente da first-party data. Trattala come una lista di lead da indagare, non come un set di citazioni comprovato.
I passaggi da 1 a 6 sono esattamente ciò che WISLR.ai esegue per te. Cattura l'attività di AI crawler e PetalBot all'edge, conserva i referrer e li trasforma in un feed ordinato e sempre aggiornato delle pagine di terze parti che più probabilmente plasmano ciò che l'AI dice del tuo brand, incrociato con i crawler LLM che colpiscono il tuo sito. Nessuna gestione manuale dei log richiesta.
What the Graph Is Good For
Un feed ordinato di pagine che parlano di te, aggiornato di continuo, è utile che l'ipotesi del grounding AI regga o meno.
Correggi la disinformazione alla fonte. Se una pagina nel tuo feed di referral dice qualcosa di sbagliato sul tuo brand, ed è esplorata abbastanza spesso da comparire, ora sai esattamente dove rispondere. Non stai più indovinando quale tra migliaia di siti conta. I crawler ti hanno detto quali sono in circolazione.
Scopri menzioni di cui non conoscevi l'esistenza. La maggior parte del monitoraggio del brand sorveglia una lista che hai costruito tu. Questo sorveglia una lista costruita dal web, e ti consegna recensioni, thread e pagine di confronto che non stavi tracciando, direttamente dai tuoi access log.
What We Are Assuming, and What We Cannot See
Sotto questo metodo stanno due assunzioni, e nessuna delle due è confermata. Vale la pena usarlo comunque, ma solo se sai dove si ferma.
Possiamo vedere il percorso di PetalBot. Non possiamo vedere quello di OpenAI. La sovrapposizione è una scommessa ragionevole, perché entrambi esplorano il web aperto dove vivono le menzioni del brand, ma è una scommessa. Alcuni referrer di PetalBot saranno pagine che nessun AI crawler legge mai, e alcune pagine che l'AI legge non compariranno mai nella traccia di PetalBot.
Potrebbe. Potrebbe invece alimentare il training. Potrebbe alimentare qualcosa che non abbiamo nominato. Il dato di log non può dirci quale, e chiunque ti dica che può lo fa indovinando con più sicurezza di quanta le prove ne consentano. Ciò che i log dimostrano è ristretto e reale: una pagina di terze parti ti ha linkato, e un crawler l'ha seguita.
Non è una misurazione delle citazioni AI. È un proxy first-party per esse, costruito a basso costo da dati che già raccogli. Abbiamo costruito esattamente questo per i clienti: un dataset first-party di citation candidate di terze parti, estratto dai loro stessi log. Ciò che è speculativo è l'etichetta che mettiamo sul grafo, non il grafo stesso.
Possiamo costruire il tuo feed di citation candidate dai tuoi stessi log.
WISLR legge il comportamento degli AI crawler all'edge, per URL e per giorno, sui tuoi first-party data. Questo include l'estrazione della traccia di referral di PetalBot in un feed ordinato delle pagine di terze parti che più probabilmente plasmano ciò che l'AI dice del tuo brand, incrociato con i crawler LLM che colpiscono il tuo sito.