Abbiamo pubblicato 20 insight sui bot AI. Sei mesi dopo, il 65% era cambiato.

Why We Re-Tested Our Own Insights

A marzo 2026 abbiamo pubblicato venti conclusioni sul comportamento dei bot AI, ricavate da 48 giorni di server log su una singola proprietà. Ecco cosa ne ha fatto una finestra più lunga e più recente.

La ricerca sui bot invecchia male, e quasi nessuno la verifica. Volevamo sapere quanto male, così abbiamo rimesso l'elenco originale alla prova di sei mesi di log su tre proprietà, registrando un verdetto per ogni insight. Diciassette erano ritestabili. Undici si erano mossi nel giro di cinque mesi.

L'articolo originale resta pubblicato esattamente com'era: Il traffico dei bot AI sta accelerando in fretta, lo studio su 48 giorni. Nulla è stato modificato in sordina. Questo pezzo ne è l'audit.

The 20 Takeaways, Re-Tested Six Months Later

1. 01Spostato

   La tua sitemap.xml è appena diventata più importante. GPTBot e ClaudeBot hanno entrambi portato il consumo delle sitemap a una soglia più alta a marzo 2026 e non sono più tornati indietro. Se la tua sitemap è vecchia, incompleta o priva delle varianti linguistiche, i crawler AI si perderanno dei contenuti.

   Sei mesi dopo al 20/07/26Il consumo delle sitemap è salito ancora e si è mantenuto lì. ClaudeBot è oggi il consumatore dominante con ampio margine, circa 6x Googlebot, ed entrambi i bot richiedevano già le sitemap a febbraio: marzo ha segnato un'escalation, non un inizio.

2. 02Ancora valido

   robots.txt non è rispettato da tutti. GPTBot e Meta-WebIndexer non lo controllano mai. Se la tua strategia di contenuti AI dipende dalle direttive del robots.txt, sappi che due dei crawler più attivi le ignorano del tutto.

   Sei mesi dopo al 20/07/26GPTBot ha effettuato 2 richieste di robots.txt a fronte di 6.872 richieste di contenuto. Meta zero su 3.169. Confermato su entrambi.

3. 03Superato

   Il traffico di ChatGPT-User è un segnale diretto di citazione del brand nelle conversazioni AI. Ogni richiesta rappresenta una persona reale che incolla il tuo URL in ChatGPT. È passaparola misurabile, e sta crescendo in fretta.

   Sei mesi dopo al 20/07/26In crescita dell'11% su cinque mesi, con una flessione a metà: 3.827 a febbraio contro 4.236 a giugno. Il segnale è reale, e la crescita si è appiattita dopo la finestra che avevamo misurato.

4. 04Ancora valido

   I bot AI crawlano a raffica, non a flusso costante. GPTBot ha toccato 114 req/min in una finestra di 3 minuti. Se il tuo server non regge il traffico a raffica, i crawler AI possono essere limitati o incontrare errori durante le loro sessioni di indicizzazione.

   Sei mesi dopo al 20/07/26Confermato e intensificato. Il picco è ora di 270 richieste al minuto, con quattro bot sopra 130.

5. 05Ancora valido

   OpenAI e Anthropic gestiscono 3 bot distinti ciascuna. Uno per training e indicizzazione, uno per la ricerca, uno per le sessioni utente in tempo reale. Bloccarne uno non blocca gli altri. Il tuo robots.txt ha bisogno di direttive separate per ognuno.

   Sei mesi dopo al 20/07/26Un pavimento, non un tetto. OpenAI oggi ne gestisce almeno quattro, incluso un crawler pubblicitario che pubblica il proprio elenco di range IP. Tre a testa è un minimo, non un conteggio.

6. 06Superato

   OAI-SearchBot e Googlebot sono gli unici bot che prelevano immagini in volume. Se le immagini dei tuoi articoli portano contenuto significativo (grafici, diagrammi, visualizzazioni di dati), sono questi i bot che le useranno nei risultati di ricerca.

   Sei mesi dopo al 20/07/26Sei bot prelevano oggi una quota di immagini superiore a Googlebot. I due citati qui sono settimo e decimo. Il prelievo di immagini è diffuso in tutta la popolazione dei crawler.

7. 07Spostato

   ChatGPT-User estrae solo testo. Zero immagini, zero CSS, zero JS. È il tuo contenuto HTML a finire nelle conversazioni AI. Per la visibilità AI conta più un testo strutturato e chiaro che il design visivo.

   Sei mesi dopo al 20/07/26Ci va vicino, ma non è più zero: 1,9% di immagini contro 95,3% di pagine. La parte su CSS e JavaScript non è verificabile, perché la pipeline dei log elimina quei file prima dell'archiviazione.

8. 08Spostato

   I crawler AI hanno picchi in ore diverse. GPTBot arriva alle 04:00 UTC. Claude-SearchBot ha il picco di notte. PerplexityBot esplode alle 23:00, alle 05:00 e alle 09:00. Se pubblichi modifiche al sito nelle ore di minor traffico negli USA, i bot AI potrebbero essere i primi a vederle.

   Sei mesi dopo al 20/07/26Lo schema regge e ogni singola ora si è spostata. GPTBot ha ora il picco alle 17:00 UTC ed è il crawler più concentrato nel tempo tra quelli misurati, con il 21,4% del suo volume totale dentro quell'unica ora.

9. 09Spostato

   Meta è il crawler AI più aggressivo per volume. Meta-WebIndexer ha inviato più richieste di qualsiasi altro bot in questo dataset, con zero controlli del robots.txt. Se non stai monitorando i crawler di Meta, ti stai perdendo il player più grande.

   Sei mesi dopo al 20/07/26Questo insight anticipava i dati quando è stato scritto, e i dati lo stanno raggiungendo ora. Sull'intero semestre Meta è dodicesima. A luglio è il singolo crawler AI più pesante sulla proprietà, dopo essere stata del tutto assente fino a maggio.

10. 10Superato

    L'adozione di llms.txt è ancora teorica. Zero bot AI hanno richiesto /llms.txt in 48 giorni. Potrebbe diventare uno standard prima o poi, ma al momento nessun crawler lo cerca.

    Sei mesi dopo al 20/07/26Da allora ha iniziato a essere richiesto di continuo, ma in larghissima parte da scanner, auditor e sonde di ricerca, non dai laboratori di frontiera. CCBot, ClaudeBot e Googlebot lo richiedono. GPTBot no.

11. 11Spostato

    Applebot renderizza le tue pagine per intero. Preleva CSS, JS e immagini (il 47% del suo traffico). Se il tuo contenuto richiede rendering JavaScript per essere completo, Applebot lo vedrà, la maggior parte dei bot AI no.

    Sei mesi dopo al 20/07/26Giusto come direzione, oggi molto più basso: le immagini sono il 27,6% del traffico di Applebot, contro il 47% di allora. La parte su CSS e JavaScript non è verificabile qui per lo stesso motivo di pipeline dell'insight 9 sopra.

12. 12Ancora valido

    I contenuti tecnici e how-to sono i più citati nelle conversazioni AI. Le pagine di punta per ChatGPT-User erano tutte guide implementative e approfondimenti tecnici. I contenuti approfonditi e specifici si guadagnano le citazioni AI.

    Sei mesi dopo al 20/07/26Il risultato più solido dell'elenco originale. Tutte e dodici le destinazioni principali sono guide implementative, confronti tra strumenti o analisi tecniche. Nulla di generico, nulla di promozionale. Una sola guida alla migrazione ha attirato il 34% di tutto il traffico ChatGPT-User verso il network.

13. 13Superato

    Bytespider e CCBot controllano solo il robots.txt e non crawlano mai. Consumano le tue direttive robots.txt senza andare oltre. Le cose potrebbero cambiare, ma al momento generano oneri di conformità con zero indicizzazione di contenuti.

    Sei mesi dopo al 20/07/26Invertito rispetto a quando abbiamo misurato. Bytespider è oggi il terzo crawler più pesante sulla proprietà, e il 94% delle sue 16.810 richieste è contenuto, non conformità.

14. 14Ancora valido

    Il volume di crawling AI può cambiare da un giorno all'altro. GPTBot è passato da 0 a 187 richieste in una sola settimana. Le tue proiezioni sul crawl budget devono tenere conto di salti improvvisi, non di una crescita graduale.

    Sei mesi dopo al 20/07/26Confermato, con un esempio più netto di quello citato all'origine. Meta è passata da zero a 2.615 richieste al mese in circa otto settimane.

15. 15Superato

    L'analisi degli IP rivela l'identità dei bot. Il rapporto quasi 1:1 tra IP e richieste di ChatGPT-User dimostra sessioni utente individuali. I 2 IP di GPTBot dimostrano un'infrastruttura centralizzata. Gli schemi degli IP aiutano a distinguere i prelievi realmente innescati dagli utenti dal crawling automatico.

    Sei mesi dopo al 20/07/26Il metodo regge e ogni numero al suo interno si è spostato. ChatGPT-User viaggia ora a 12,4 richieste per IP su 1.588 indirizzi. GPTBot usa 129 IP, non 2. L'impronta quasi 1:1 descritta qui appartiene ora a Claude-User, a 1,4.

16. 16Ancora valido

    Gli eventi di crawling coordinati attraversano le famiglie di bot. GPTBot e OAI-SearchBot sono partiti simultaneamente il 19 marzo dalla stessa infrastruttura Microsoft. Quando un bot OpenAI accelera, aspettati che gli altri seguano.

    Sei mesi dopo al 20/07/26Confermato in modo indipendente esattamente nella data citata, uno dei soli due giorni in sei mesi in cui entrambi i bot hanno superato insieme quelle soglie.

17. 17Superato

    I bot di cui non hai mai sentito parlare stanno già passando. PromptingBot, LinkupBot, Brightbot, Observer e altri stanno crawlando attivamente i contenuti. Il panorama dei bot AI è più ampio di quanto suggeriscano i nomi noti.

    Sei mesi dopo al 20/07/26Tutti e quattro i bot citati hanno fatto zero richieste nei nuovi sei mesi. Il principio di fondo regge con un cast completamente diverso: la coda lunga è oggi dominata da scanner di llms.txt e auditor di AI readiness. Qualsiasi elenco di nomi ha una scadenza di pochi mesi.

This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.

What Six Months of Logs Changed

Lo studio originale è durato 48 giorni su una singola proprietà. Questo ritest copre 154.864 richieste classificate su tre proprietà tra il 1 febbraio e il 13 luglio 2026, incrociate con una proprietà ecommerce più grande che registra 7,26 milioni di richieste, con l'identità dei bot risolta tramite user-agent rispetto a una tabella di riferimento da 75 pattern.

Undici dei diciassette insight ritestabili si sono mossi in cinque mesi, sei superati dal nuovo comportamento dei crawler e cinque spostati in modo sostanziale. È quel tasso il risultato. Lo schema che sta sotto conta più di ogni singola correzione: i comportamenti hanno retto e i numeri si sono mossi. Le raffiche, gli eventi coordinati dei vendor, la preferenza per i contenuti tecnici, tutto ancora lì. Ogni nome di bot, rapporto e ora di picco che abbiamo pubblicato è cambiato.

Meta went from absent to first in eight weeks

Il cambiamento più grande del dataset. meta-externalagent non ha registrato assolutamente nulla fino a maggio, una sola richiesta in quel mese, poi 553 a giugno e 2.615 nei primi tredici giorni di luglio. È oggi il crawler AI più pesante sulla proprietà, e luglio è un mese parziale, quindi quella cifra lo sottostima.

Sull'intero semestre Meta è dodicesima. A luglio è prima. Entrambe le affermazioni sono vere, ed è esattamente per questo che una classifica su una sola finestra è una base debole per decidere il crawl budget. Ha inoltre effettuato zero richieste di robots.txt su 3.169 hit.

The bot rankings churn, the behaviours do not

Quattordici bot con volume sufficiente per seguirli mese per mese. Guarda quanto poco la forma della popolazione somigli a se stessa da febbraio a luglio.

The IP fingerprint inverted

La lettura originale usava le richieste per IP per distinguere i prelievi innescati dagli utenti dal crawling centralizzato. Il metodo funziona ancora. Ogni numero al suo interno si è spostato.

Image fetching is now common

Quando abbiamo misurato, OAI-SearchBot e Googlebot erano gli unici bot a prelevare immagini in volume. Da allora il prelievo di immagini si è diffuso in tutta la popolazione dei crawler: sei bot hanno ora una quota più alta di Googlebot, e i due citati all'origine sono settimo e decimo.

llms.txt is measured, not consumed

Quando abbiamo misurato, nessun bot aveva mai richiesto /llms.txt. La situazione è cambiata del tutto, anche se non nel modo che gli oltranzisti dello standard vorrebbero. Viene richiesto di continuo, quasi solo da strumenti che esistono per verificare se ne pubblichi uno.

Crawler di grandi vendor riconosciuti visti richiederlo: CCBot, ClaudeBot, Googlebot e GoogleOther. Assente di rilievo: GPTBot.

Bytespider does not just check robots.txt

Questo non è andato alla deriva, si è invertito. Bytespider è oggi il terzo crawler più pesante sulla proprietà e il 94% delle sue richieste è contenuto.

What Held Up

Sei degli insight originali hanno superato intatti la finestra più lunga, e sono quelli che descrivono un comportamento anziché nominare un leader.

I contenuti tecnici si guadagnano le citazioni. Il risultato più solido dell'elenco originale. Tutte e dodici le destinazioni principali di ChatGPT-User sono guide implementative, confronti tra strumenti o analisi tecniche. Nulla di generico, nulla di promozionale. Una sola guida alla migrazione ha attirato 6.716 richieste, il 34% di tutto il traffico ChatGPT-User del network.

GPTBot continua a ignorare il robots.txt. Due richieste di robots.txt a fronte di 6.872 richieste di contenuto. Meta zero su 3.169.

Le raffiche sono peggiorate, non migliorate. I tassi di picco sono ora ben sopra le 114 richieste al minuto riportate all'origine.

I vendor gestiscono ancora flotte di bot, e le avevamo sottostimate. OpenAI gestisce almeno quattro crawler distinti, incluso un crawler pubblicitario che pubblica il proprio elenco di range IP. Anthropic gestisce ClaudeBot, Claude-User e Claude-SearchBot. Tre a testa era un minimo, non un conteggio.

Gli eventi coordinati esistono davvero. Confermato esattamente nella data citata dal post originale: il 19 marzo mostra GPTBot a 206 richieste e OAI-SearchBot a 114, uno dei soli due giorni in sei mesi in cui entrambi hanno superato insieme quelle soglie.

I bot hanno ancora picchi in ore diverse, e ogni ora si è spostata. GPTBot non ha più il picco alle 04:00 UTC. Ora lo tocca alle 17:00, ed è il crawler più concentrato nel tempo tra quelli misurati: il 21,4% del suo intero volume semestrale cade in quell'unica ora del giorno.

What We Could Not Test

Due risultati apparenti si sono rivelati artefatti del modo in cui i log vengono raccolti. Vale la pena dirlo per entrambi, perché ciascuno avrebbe potuto produrre un titolo sicuro di sé che i dati non sostengono.

Sulla proprietà di confronto il robots.txt è invisibile. Ha restituito zero richieste di robots.txt da qualsiasi bot, il che sembra un risultato clamoroso sulla conformità e non lo è. Quel sito serve il robots.txt dall'edge della CDN, quindi la richiesta non raggiunge mai il livello registrato nei log. Tutte le conclusioni sul robots.txt riportate qui vengono solo dalla proprietà principale.

I risultati su CSS e JavaScript non sono verificabili in nessuna direzione con questi dati. Il sanitizzatore dei log elimina .css, .js, i font e le source map prima dell'archiviazione. Gli insight 9 e 13 si possono testare solo sulla componente immagini.

Due cautele minori. Il dataset copre tre proprietà collegate anziché una, e i contenuti più citati stanno su un solo sito di quel network, il che concentra i risultati sulle citazioni. Inoltre luglio è un mese parziale, fino al 13, quindi i dati di luglio sottostimano: Meta arriva prima nonostante questo.