Settimana del 3 agosto 2026
Chi Credono di Prendere in Giro Questi Bot?
Gran parte di ciò che si scrive sui crawler AI nasce dagli annunci dei vendor invece che dai log. Queste domande nascono da entrambe le fonti: log edge reali di un sito ecommerce di medie dimensioni e la documentazione sui crawler che le aziende AI pubblicano in prima persona. Rispondi a ciascuna e le prove compaiono subito.
- Domande
- 10
- Minuti
- 6
-
1
Nell'ultima settimana, quale bot ha richiesto /sitemap.xml più spesso?
Bingbot di Microsoft
Bingbot l'ha richiesta decine di volte. I veri crawler GPTBot, ClaudeBot, PerplexityBot e Gemini l'hanno richiesta zero volte, pur avendo inviato migliaia di richieste allo stesso sito. I crawler AI scoprono i contenuti in modo schiacciante seguendo i link, non leggendo le sitemap. Inviare una sitemap è un rituale da motore di ricerca; per la visibilità nell'AI serve a pochissimo, per quanto ne sappiamo.
-
2
Che cos'è Google-Extended?
Un token di robots.txt che controlla se i contenuti scansionati addestrano Gemini e ne fondano le risposte
Non effettua mai una richiesta. Google dichiara che Google-Extended non ha uno user agent proprio e separato, quindi la scansione avviene comunque tramite i normali crawler di Google e il token governa soltanto ciò che accade a quei contenuti in seguito: l'addestramento dei futuri modelli Gemini e il grounding delle risposte in Gemini Apps e Vertex AI. Google precisa inoltre che non influisce sull'inclusione di un sito in Google Search e non è un fattore di ranking, quindi bloccarlo non costa nulla in Search e non ridurrà il traffico di scansione nemmeno di un hit.
-
3
Qual è l'unico modo affidabile per confermare che una richiesta provenga davvero da GPTBot?
Il reverse DNS più gli intervalli IP pubblicati dal vendor
Le stringhe user-agent sono testo libero. Chiunque può inviarne una qualsiasi, e moltissimi scanner lo fanno.
-
4
Per un publisher tipico, quale attività di OpenAI genera più richieste?
ChatGPT-User che recupera una pagina perché una persona ha fatto una domanda
I recuperi avviati dagli utenti hanno superato le scansioni di addestramento di circa sei a uno. La maggior parte del traffico dei bot AI non è addestramento, è la domanda di una persona reale a cui si sta rispondendo in tempo reale.
-
5
I tuoi log mostrano traffico etichettato come OpenAI proveniente da un IP di Google Cloud. Qual è la spiegazione più probabile?
Uno user-agent contraffatto
Abbiamo colto esattamente questo caso: uno scanner su una singola rete Google Cloud ha inviato ben oltre mille richieste in tre giorni, ruotando tra user-agent di OpenAI, Perplexity e Gemini e colpendo un solo URL per percorso. Questa è enumerazione, non scansione. I veri crawler di OpenAI escono da Azure.
-
6
Quale descrizione rispecchia meglio il modo in cui le principali aziende AI scansionano il web?
Ogni azienda gestisce diversi bot distinti con compiti differenti
La documentazione di OpenAI ne elenca quattro: GPTBot per i dati di addestramento, ChatGPT-User per un recupero in tempo reale quando una persona fa una domanda, OAI-SearchBot per i risultati di ricerca di ChatGPT e OAI-AdsBot per verificare le pagine inviate come annunci. Anthropic e le altre aziende seguono lo stesso schema. OpenAI dichiara che ogni impostazione è indipendente, quindi un publisher può consentire OAI-SearchBot per comparire nella ricerca e allo stesso tempo bloccare GPTBot. Questo significa che "devo consentire i bot AI?" non è una sola decisione, sono quattro.
-
7
Aggiungi User-agent: GPTBot con Disallow: / al tuo robots.txt. Che cosa raggiunge comunque il tuo sito?
ChatGPT-User e OAI-SearchBot
Bloccare un token blocca un bot. OpenAI dichiara che ogni impostazione è indipendente, quindi il crawler di ricerca, il crawler degli annunci e il recupero in tempo reale per l'utente continuano tutti a operare. ChatGPT-User è il caso scomodo: poiché quelle richieste sono avviate da una persona e non da una pianificazione di scansione, OpenAI segnala che le regole di robots.txt potrebbero non applicarsi affatto. La maggior parte delle configurazioni "abbiamo bloccato l'AI" ferma l'addestramento e lascia del tutto intatti i bot che generano davvero le risposte visibili agli utenti.
-
8
Un crawler importante ha richiesto news-sitemap.xml, sitemap.txt, sitemap.html e sitemap-index.xml, tutti in 404, su un sito il cui robots.txt dichiara correttamente la propria sitemap. Che cosa dimostra tutto questo?
Alcuni crawler tirano a indovinare i nomi dei file sitemap per forza bruta invece di leggere la direttiva Sitemap
Il crawler di Meta fa esattamente questo. Una riga Sitemap corretta nel robots.txt non garantisce che un crawler la userà.
-
9
Un visitatore fa una domanda a ChatGPT, clicca fino al tuo sito e compra qualcosa. Perché i tuoi strumenti di analytics potrebbero non attribuire mai il merito a ChatGPT?
Molti client AI non inviano alcun referrer, quindi la visita viene registrata come diretta
I dati di referrer degli assistenti AI sono lacunosi per costruzione. Le app desktop e mobile spesso non trasmettono alcun header referer, i browser in-app si comportano in modo incoerente e alcuni client inviano soltanto il dominio nudo. Il traffico finisce nel canale diretto insieme ai preferiti e agli URL digitati. I numeri lato referral sono una soglia minima, non una misurazione.
-
10
In una settimana tipo, come si confronta il volume dei crawler AI con quello dei crawler di ricerca tradizionali?
La ricerca è ancora circa da 20 a 25 volte più grande
Google più Bing hanno effettuato ben oltre centomila richieste in tre giorni; tutti i crawler AI verificati messi insieme ne hanno effettuate qualche migliaio. La scansione AI è reale e in crescita, ma non ha soppiantato quella dei motori di ricerca, e i titoli che suggeriscono il contrario di solito conteggiano user-agent contraffatti.
