Il traffico dei bot AI sta accelerando rapidamente. 48 giorni di log del server rivelano cosa stanno facendo GPTBot, ChatGPT, ClaudeBot e altri 16.
Published: March 20, 2026
Il traffico dei bot AI non è più un rivolo
Tra febbraio e metà marzo 2026, l’attività dei bot AI su wislr.com non è solo cresciuta. Ha cambiato forma.
- Il traffico di ChatGPT-User è quintuplicato in sette settimane
- GPTBot, completamente assente fino al 12 marzo, ha eseguito 187 richieste in una sola settimana, 152 delle quali in un burst di 3 minuti
- GPTBot non è un bot nuovo. È il crawler di addestramento principale di OpenAI, attivo sul web da anni. Ma non sembra eseguire il crawl di ogni sito in modo continuo. I dati suggeriscono che si attiva su un sito una volta che i contenuti di quel sito guadagnano trazione nell’ecosistema di OpenAI. I referral di ChatGPT-User verso wislr.com erano già quintuplicati prima che GPTBot si presentasse.
- Il volume di OAI-SearchBot è quadruplicato
- Il 18-19 marzo, sia ClaudeBot che GPTBot hanno iniziato a richiedere sitemap.xml per la prima volta, nello stesso giorno, da aziende diverse
Questo è un cambiamento nel modo in cui le piattaforme AI scoprono e indicizzano i contenuti.
20 conclusioni per il tuo sito web
- Google Analytics non può vedere nulla di tutto questo. I bot AI non eseguono JavaScript. Se ti affidi agli analytics lato client, il traffico dei bot AI è invisibile. Il logging lato server è l’unico modo per misurarlo.
- Il tuo sitemap.xml è appena diventato più importante. GPTBot e ClaudeBot hanno entrambi iniziato a consumare le sitemap a marzo 2026 per la prima volta. Se la tua sitemap è obsoleta, incompleta o priva di varianti linguistiche, i crawler AI perderanno contenuti.
- robots.txt non è universalmente rispettato. GPTBot e Meta-WebIndexer non lo controllano mai. Se la tua strategia di contenuti AI dipende dalle direttive robots.txt, sappi che due dei crawler più attivi le ignorano completamente.
- I contenuti multilingue ricevono un’attenzione di crawl sproporzionata. Bot come Meta-WebIndexer (80%), GPTBot (62%) e Bingbot (60%) dedicano la maggior parte del loro budget alle varianti linguistiche. Se pubblichi contenuti tradotti, le piattaforme AI li stanno indicizzando in modo aggressivo.
- Il traffico di ChatGPT-User è un segnale diretto di citazione del brand nelle conversazioni AI. Ogni richiesta rappresenta una persona reale che incolla il tuo URL in ChatGPT. Si tratta di passaparola misurabile, e sta crescendo rapidamente.
- I bot AI eseguono il crawl a burst, non in flussi costanti. GPTBot ha raggiunto 114 req/min in una finestra di 3 minuti. Se il tuo server non può gestire il traffico a burst, i crawler AI potrebbero essere limitati o incontrare errori durante le loro sessioni di indicizzazione.
- OpenAI e Anthropic operano ciascuno con 3 bot separati. Uno per addestramento/indicizzazione, uno per la ricerca, uno per le sessioni utente live. Bloccarne uno non blocca gli altri. Il tuo robots.txt ha bisogno di direttive separate per ciascuno.
- OAI-SearchBot e Googlebot sono gli unici bot che recuperano immagini in volume. Se le immagini dei tuoi articoli contengono informazioni significative (grafici, diagrammi, visualizzazioni dati), questi sono i bot che le utilizzeranno nei risultati di ricerca.
- ChatGPT-User estrae solo testo. Zero immagini, zero CSS, zero JS. Il contenuto HTML è ciò che viene estratto nelle conversazioni AI. Per la visibilità AI conta più un testo strutturato e chiaro del design visivo.
- I crawler AI raggiungono i picchi in orari diversi. GPTBot colpisce alle 04:00 UTC. Claude-SearchBot raggiunge il picco di notte. PerplexityBot ha burst alle 23:00, 05:00 e 09:00. Se distribuisci modifiche al sito durante le ore non di punta negli USA, i bot AI potrebbero essere i primi a vederle.
- Meta è il crawler AI più aggressivo per volume. Meta-WebIndexer ha inviato più richieste di qualsiasi altro bot in questo dataset, con zero controlli robots.txt. Se non stai tracciando i crawler di Meta, ti stai perdendo il player più grande.
- L’adozione di llms.txt è ancora teorica. Zero bot AI hanno richiesto /llms.txt in 48 giorni. Potrebbe diventare uno standard in futuro, ma nessun crawler lo cerca attualmente.
- Applebot renderizza completamente le tue pagine. Recupera CSS, JS e immagini (47% del suo traffico). Se il tuo contenuto richiede il rendering JavaScript per essere completo, Applebot lo vedrà, ma la maggior parte dei bot AI no.
- Il traffico di ChatGPT-User è distribuito globalmente. 15 paesi, 584 IP unici. I tuoi contenuti vengono citati nelle conversazioni AI in tutto il mondo, non solo negli USA.
- I contenuti tecnici e le guide pratiche sono quelli più citati nelle conversazioni AI. Le pagine più consultate da ChatGPT-User erano tutte guide all’implementazione e articoli tecnici esplicativi. I contenuti approfonditi e specifici guadagnano citazioni AI.
- Bytespider e CCBot controllano solo robots.txt e non eseguono mai il crawl. Stanno consumando le tue direttive robots.txt senza procedere oltre. Questo potrebbe cambiare, ma attualmente generano overhead di conformità con zero indicizzazione di contenuti.
- Il volume di crawl AI può cambiare da un giorno all’altro. GPTBot è passato da 0 a 187 richieste in una sola settimana. Le tue proiezioni di budget di crawl devono tenere conto di cambiamenti improvvisi a gradino, non di crescita graduale.
- L’analisi degli IP rivela l’identità dei bot. Il rapporto IP-richieste quasi 1:1 di ChatGPT-User dimostra sessioni utente individuali. I 2 IP di GPTBot dimostrano infrastruttura centralizzata. I pattern degli IP aiutano a distinguere i fetch generati da utenti reali dal crawling automatizzato.
- Si verificano eventi di crawl coordinati tra famiglie di bot. GPTBot e OAI-SearchBot si sono attivati simultaneamente il 19 marzo dalla stessa infrastruttura Microsoft. Quando un bot OpenAI accelera, aspettati che gli altri seguano.
- I bot di cui non hai mai sentito parlare stanno già visitando il tuo sito. PromptingBot, LinkupBot, Brightbot, Observer e altri stanno attivamente eseguendo il crawl dei contenuti. Il panorama dei bot AI è più ampio di quanto suggeriscano i nomi più conosciuti.
I dati
Fonte: 288.566 file di log dal logging delle richieste CDN script su wislr.com
Periodo: 1 febbraio - 20 marzo 2026
Totale richieste: 71.603
Richieste di bot AI/crawler analizzate: 12.099 (16,9% di tutto il traffico)
Ogni richiesta HTTP a wislr.com passa attraverso uno script CDN che cattura i metadati completi della richiesta (user agent, geo, header, timing). Questo ci fornisce dati certi su cosa stanno facendo esattamente i bot AI, con quale frequenza e cosa stanno leggendo.
Vuoi questo livello di visibilità sul traffico dei bot AI del tuo sito?
Prenota una chiamataClassifica dei bot per volume
| Rank | Bot | Totale hit | Feb | Mar (parziale) | Trend |
|---|---|---|---|---|---|
| 1 | Meta-WebIndexer | 1.833 | 707 | 1.126 | +59% |
| 2 | Bingbot | 1.221 | 547 | 674 | +23% |
| 3 | ChatGPT-User | 923 | 230 | 693 | +201% |
| 4 | Googlebot | 816 | 386 | 430 | +11% |
| 5 | Claude-SearchBot | 549 | 216 | 333 | +54% |
| 6 | Applebot | 495 | 257 | 238 | -7% |
| 7 | PerplexityBot | 456 | 244 | 212 | -13% |
| 8 | OAI-SearchBot | 330 | 117 | 213 | +82% |
| 9 | ClaudeBot | 206 | 69 | 137 | +99% |
| 10 | GPTBot* | 187 | 0 | 187 | Nuovo a marzo |
| 11 | Amazonbot | 71 | 27 | 44 | +63% |
| 12 | Bytespider | 68 | 33 | 35 | +6% |
| 13 | Claude-User | 18 | 6 | 12 | +100% |
| 14 | CCBot | 5 | 2 | 3 | Minimo |
| 15 | Meta-ExternalAgent | 4 | 0 | 4 | Nuovo |
| 16 | DuckAssistBot | 4 | 0 | 4 | Nuovo |
| 17 | Perplexity-User | 3 | 3 | 0 | Minimo |
| 18 | YouBot | 2 | 0 | 2 | Nuovo |
| 19 | GoogleOther | 2 | 1 | 1 | Minimo |
*GPTBot non è un bot nuovo. È il crawler di addestramento principale di OpenAI, attivo sul web da anni. “Nuovo a marzo” significa nuovo su questo sito. I dati suggeriscono che GPTBot si attiva su un sito una volta che i suoi contenuti guadagnano trazione nell’ecosistema di OpenAI: i referral di ChatGPT-User erano già quintuplicati prima che GPTBot apparisse.
Trend di volume settimanali
| Bot | Feb S1 | Feb S2 | Feb S3 | Feb S4 | Mar S1 | Mar S2 | Mar S3 |
|---|---|---|---|---|---|---|---|
| GPTBot | 0 | 0 | 0 | 0 | 0 | 4 | 183 |
| ChatGPT-User | 39 | 66 | 65 | 60 | 72 | 304 | 317 |
| OAI-SearchBot | 28 | 34 | 29 | 26 | 28 | 46 | 139 |
| ClaudeBot | 10 | 14 | 9 | 36 | 51 | 24 | 62 |
| Claude-SearchBot | 31 | 51 | 47 | 87 | 121 | 68 | 144 |
| PerplexityBot | 22 | 132 | 62 | 28 | 37 | 77 | 98 |
| Bingbot | 132 | 163 | 136 | 116 | 151 | 248 | 275 |
| Meta-WebIndexer | 63 | 35 | 271 | 338 | 396 | 541 | 189 |
| Amazonbot | 8 | 6 | 7 | 6 | 2 | 2 | 40 |
Marzo S3 (15-20 marzo) è stata la settimana di svolta. GPTBot è esploso da quasi zero a 183 richieste. ChatGPT-User ha mantenuto oltre 300 richieste/settimana (5x rispetto al livello di febbraio). OAI-SearchBot ha raggiunto 139, un aumento di 4x. Qualcosa di coordinato è successo nell’intera flotta di bot di OpenAI.
Profili dei singoli bot
GPTBot (crawler di addestramento/indicizzazione di OpenAI)
Totale: 187 richieste | Attivo dal: 12 marzo | IP: 2 (altamente concentrati)
GPTBot non è un bot nuovo. OpenAI lo definisce come il crawler utilizzato per “rendere i nostri modelli fondazionali di AI generativa più utili e sicuri”, eseguendo il crawl di contenuti che possono essere usati nell’addestramento dei loro modelli fondazionali. Opera sul web da anni. Ciò che è notevole è che GPTBot era completamente assente da wislr.com fino al 12 marzo, poi si è attivato con un massiccio burst di crawl il 19 marzo alle 04:38 UTC: 152 richieste in 3 minuti (picco di 114 req/min). Ha sistematicamente eseguito il crawl di ogni articolo in ogni variante linguistica.
Questo suggerisce che GPTBot non esegue il crawl di ogni sito in modo continuo. Sembra attivarsi e accelerare su un sito una volta che i contenuti di quel sito guadagnano trazione nell’ecosistema di OpenAI, dato che i referral di ChatGPT-User verso wislr.com erano già quintuplicati prima che GPTBot si presentasse.
Cosa esegue il crawl:
- Articoli: 67% delle richieste
- Varianti linguistiche: 61,5%, crawl di tutte le 11 versioni linguistiche (de, fr, pl, hi, nl, uk, pt, ms, tr, it, es)
- Immagini: 28 richieste (header degli articoli, foto autore)
- Sitemap.xml: 2 richieste (iniziate il 19 marzo, comportamento del tutto nuovo)
- robots.txt: Zero. Non lo controlla mai.
Timing del crawl: 81% di tutte le richieste alle 04:00 UTC. Pattern a burst estremo, quasi tutto il traffico in una singola finestra di 3 minuti.
Infrastruttura: Opera dal ASN Microsoft Limited, solo USA. 97,9% del traffico da un singolo IP.
Il burst di GPTBot del 19 marzo è stato contemporaneo a un burst di OAI-SearchBot dalla stessa infrastruttura Microsoft: 50 req/min allo stesso timestamp. Questo appare coordinato.
OAI-SearchBot (crawler di ricerca di OpenAI)
Totale: 330 richieste | Trend: +82% da febbraio a marzo | IP: 81
OAI-SearchBot è il crawler di ricerca dedicato di OpenAI, distinto da GPTBot. È il controllore di robots.txt più persistente tra tutti i bot AI, verificandolo 3-6 volte ogni singolo giorno senza eccezioni.
Cosa esegue il crawl:
- robots.txt: 54,5% di tutto il traffico (180 hit, media di 3,8/giorno)
- Articoli: 52 richieste
- Immagini: 55 richieste, scarica attivamente immagini degli articoli, foto autore, screenshot delle pagine
- Homepage: 9 richieste
Timing del crawl: Distribuito nell’arco della giornata con lievi picchi alle 04:00 e 20:00 UTC.
Infrastruttura: Microsoft Limited (87%) + Microsoft Corp (13%), solo USA.
L’unico bot OpenAI che rispetta robots.txt (lo controlla in modo ossessivo). Anche l’unico bot AI oltre a Googlebot che recupera attivamente immagini in volume, probabilmente per le card dei risultati di ricerca.
ChatGPT-User (fetcher per sessioni utente live)
Totale: 923 richieste | Trend: +201% da febbraio a marzo | IP: 584
Questo non è un crawler. Si attiva quando una persona reale incolla un URL di wislr.com in una conversazione ChatGPT. I 584 IP unici (quasi 1:1 con le richieste) confermano che si tratta di sessioni utente individuali. Questo è il segnale più chiaro di quanto spesso i contenuti di wislr.com vengono citati nelle conversazioni AI.
Contenuti più referenziati:
| Hit | Articolo |
|---|---|
| 225 | Shopify Same-Domain Checkout Analytics |
| 112 | Cloudflare Crawl Endpoint Pros and Cons |
| 103 | Cloudflare Crawl Best Settings |
| 91 | Cloudflare CDN Request Logging for Shopify |
| 81 | 6 Core Tasks for Better 301 Redirects |
| 50 | AI Performance Metrics: Seven KPIs |
| 37 | Homepage |
| 30 | Essential Tools for Site Migrations |
| 29 | OpenAI KPIs and Success Metrics 2026 |
| 23 | AEO Readiness Comparison |
Cosa non recupera: Zero immagini, zero CSS, zero JS. Pura estrazione di contenuto HTML, vuole solo il testo.
Timing del crawl: Distribuito uniformemente su tutte le 24 ore, segue i pattern di utilizzo umano.
Distribuzione geografica: USA (50%), Polonia (16%), Australia (5%), Spagna (5%), Giappone (5%), Brasile (4%), 15 paesi in totale. Principali città: Varsavia (149), Phoenix (145), San Antonio (126), Des Moines (91).
ClaudeBot (crawler di addestramento/indicizzazione di Anthropic)
Totale: 206 richieste | Trend: +99% da febbraio a marzo | IP: 22
ClaudeBot è prevalentemente focalizzato sul controllo di conformità: l'85% del suo traffico è robots.txt.
Cosa esegue il crawl:
- robots.txt: 175 richieste (85%), aumentate da 1-2/giorno a inizio febbraio a 6-12/giorno entro marzo
- Sitemap.xml: 14 richieste, iniziate il 18 marzo (non lo aveva mai toccato prima)
- Immagini: 10 richieste (tutte il 18 marzo)
- Pagine di contenuto: pochissime
ClaudeBot controlla robots.txt in modo sempre più aggressivo nel tempo. Il suo improvviso interesse per sitemap.xml il 18 marzo (5 hit quel giorno, 8 il 19 marzo) suggerisce un nuovo rollout della strategia di crawl da parte di Anthropic.
Infrastruttura: ASN Anthropic, PBC (97%), solo USA.
Claude-SearchBot (crawler di ricerca web di Anthropic)
Totale: 549 richieste | Trend: +54% da febbraio a marzo | IP: 8
Un bot Anthropic separato, distinto da ClaudeBot e Claude-User. Alimenta la funzione di ricerca web di Claude. Più aggressivo di ClaudeBot, esegue effettivamente il crawl dei contenuti.
Cosa esegue il crawl:
- robots.txt: 164 richieste (30%), giornaliere, in aumento da 1-3 a 7-10/giorno
- Sitemap.xml: 135 richieste, iniziate il 25 febbraio, rapidamente diventato il secondo consumatore di sitemap più attivo dopo Bingbot
- Articoli: 142 richieste (26%)
- Varianti linguistiche: 23,3% del traffico
- Homepage: 45 richieste
Timing del crawl: Concentrato nelle ore notturne, picchi alle 22:00, 01:00, 00:00 UTC.
Complessivamente, Anthropic opera con 3 bot distinti (ClaudeBot, Claude-SearchBot, Claude-User) per un totale di 773 richieste, rendendo Anthropic la terza più grande presenza di bot AI dopo Meta-WebIndexer e ChatGPT-User.
Claude-User (fetcher per sessioni live di Anthropic)
Totale: 18 richieste | IP: 8
L’equivalente Anthropic di ChatGPT-User. Si attiva quando qualcuno condivide un URL in una conversazione Claude. Volume molto più basso rispetto a ChatGPT-User (18 contro 923).
Cosa esegue il crawl: robots.txt (9), poi articoli su Cloudflare e un caso studio di uno studio legale.
Infrastruttura: ASN Google LLC (100%), solo USA. Opera tramite Google Cloud, non sull’infrastruttura propria di Anthropic.
PerplexityBot (crawler di indicizzazione di Perplexity)
Totale: 456 richieste | Trend: -13% da febbraio a marzo | IP: 13
Pattern di crawl a burst: 132 richieste nella S2 di febbraio, calo a 28 nella S4, risalita a 98 nella S3 di marzo.
Cosa esegue il crawl:
- Articoli: 77% del traffico, punta fortemente ai contenuti sulle metriche di performance AI
- robots.txt: 71 richieste (costante 1-4/giorno)
- Immagini: 18 richieste (immagini specifiche degli articoli)
- Sitemap.xml: Zero. Non lo richiede mai.
- Varianti linguistiche: 52,9%, ampia copertura multilingue
Timing del crawl: Tre finestre di burst distinte alle 23:00, 05:00 e 09:00 UTC.
Infrastruttura: Amazon Technologies Inc. (96%), solo USA. 13 IP, concentrazione moderata.
Googlebot
Totale: 816 richieste | IP: 72
Focalizzato sulla homepage (27% del traffico) e il crawler più orientato al “rendering completo”. Recupera immagini, CSS, JS insieme ai contenuti.
Cosa esegue il crawl:
- Homepage: 220 richieste (27%)
- Immagini: 152 richieste
- CSS: 132 richieste
- JS: 54 richieste
- Articoli: 141 richieste
- robots.txt: 68 richieste
- Sitemap.xml: 5 richieste (occasionali)
Varianti linguistiche: Solo 10,4%, significativamente meno multilingue degli altri bot.
Infrastruttura: Google LLC (91%), alcuni dalla Svezia (8%). Pattern di crawl uniforme sulle 24 ore.
Bingbot
Totale: 1.221 richieste | Trend: +23% da febbraio a marzo | IP: 258
Il crawler più costante e ad ampio raggio. Anche il principale consumatore di sitemap.
Cosa esegue il crawl:
- Articoli: 68% (con forte copertura delle varianti linguistiche)
- Sitemap.xml: 139 richieste (2-8/giorno, ogni giorno), di gran lunga il crawler di sitemap più attivo
- Immagini: 78 richieste (icone social, PNG della dashboard, immagini degli articoli)
- robots.txt: 36 richieste
Varianti linguistiche: 60,3%, forte focus sulle varianti olandese (97) e tedesca (98).
Timing del crawl: Copertura uniforme sulle 24 ore, sempre attivo.
Meta-WebIndexer
Totale: 1.833 richieste | Trend: +59% da febbraio a marzo | IP: 156
Il bot con il volume più alto in assoluto. Prevalentemente focalizzato sui contenuti, specialmente le varianti linguistiche.
Cosa esegue il crawl:
- Articoli: 88% del traffico
- Varianti linguistiche: 79,8%, di gran lunga il crawler multilingue più aggressivo
- Sitemap.xml: 30 richieste
- robots.txt: Zero. Non controlla affatto robots.txt.
Timing del crawl: Concentrato in serata/notte, picchi alle 20:00-21:00 e 00:00-01:00 UTC.
Infrastruttura: ASN Meta Platforms Ireland Ltd, solo USA.
Come GPTBot, Meta-WebIndexer non controlla robots.txt. A differenza di GPTBot, è stato attivo in modo costante durante l’intero periodo.
Pattern comportamentali
Conformità a robots.txt
| Comportamento | Bot |
|---|---|
| Controllori ossessivi (più volte al giorno) | OAI-SearchBot (3,8/giorno), ClaudeBot (4/giorno), Claude-SearchBot (4/giorno) |
| Controllori regolari (giornalieri o quasi) | PerplexityBot, Googlebot, Applebot, Amazonbot, FacebookExternalHit (esattamente 1/giorno come un orologio) |
| Controllano solo robots.txt, nient’altro | Bytespider (100%), CCBot (100%) |
| Non controllano mai robots.txt | GPTBot, Meta-WebIndexer, ChatGPT-User |
GPTBot e Meta-WebIndexer sono i bot non conformi più notevoli. Eseguono il crawl in modo aggressivo senza mai verificare le regole.
Scoperta della sitemap
| Bot | Hit sitemap | Prima richiesta | Pattern |
|---|---|---|---|
| Bingbot | 139 | 1 feb | Giornaliero, 2-8/giorno (il re delle sitemap) |
| Claude-SearchBot | 135 | 25 feb | Intenso, diventato il 2° più attivo |
| Meta-WebIndexer | 30 | 5 feb | Regolare |
| ClaudeBot | 14 | 18 mar | Comportamento del tutto nuovo |
| Googlebot | 5 | 2 feb | Occasionale |
| GPTBot | 2 | 19 mar | Comportamento del tutto nuovo |
| Applebot | 1 | 17 mar | Singolo hit |
Il 18-19 marzo segna un cambiamento. Sia ClaudeBot che GPTBot hanno iniziato a richiedere sitemap.xml per la prima volta, suggerendo nuovi rollout della strategia di crawl da parte di Anthropic e OpenAI simultaneamente.
Richieste di llms.txt / file specifici per l’AI
Nessun bot AI richiede /llms.txt o /llm.txt. Zero hit da GPTBot, ClaudeBot, PerplexityBot o qualsiasi altro crawler AI.
L’unico bot che verifica llms.txt è Dataprovider.com (un’azienda di web analytics): 3 richieste tra febbraio e marzo.
Due richieste per /.well-known/ai-plugin.json sono arrivate da browser Firefox, non da bot.
Crawl delle varianti linguistiche
| Bot | % del traffico nelle varianti linguistiche | Copertura |
|---|---|---|
| Meta-WebIndexer | 79,8% | Tutte le 11 lingue, distribuzione uniforme |
| GPTBot | 61,5% | Tutte le 11 lingue, 8-12 ciascuna |
| Bingbot | 60,3% | Tutte le 11, forte su olandese/tedesco |
| PerplexityBot | 52,9% | Tutte le 11, tedesco/spagnolo in testa |
| Amazonbot | 32,4% | Tutte le 11 |
| Claude-SearchBot | 23,3% | Tutte le 11, abbastanza uniforme |
| Applebot | 23,0% | Tutte le 11 |
| OAI-SearchBot | 11,2% | Tutte le 11 |
| Googlebot | 10,4% | Spagnolo/portoghese in testa |
| ChatGPT-User | 4,7% | Francese/spagnolo/italiano (guidato dagli utenti) |
Meta-WebIndexer e GPTBot sono i crawler multilingue più aggressivi. La bassa percentuale di ChatGPT-User ha senso: riflette in quali lingue leggono gli utenti reali.
Crawl delle immagini
| Bot | Richieste immagini | Cosa recuperano |
|---|---|---|
| Googlebot | 152 | Icone SVG, loghi, favicon, risorse di rendering |
| Google-InspectionTool | 108 | Icone social, immagini dei case study |
| Googlebot-Image | 75 | Favicon, varianti del logo, immagini degli articoli |
| Bingbot | 78 | Icone social, PNG della dashboard, immagini degli articoli |
| OAI-SearchBot | 55 | Immagini degli articoli, foto autore, screenshot |
| Applebot | 32 | Immagini di copertina degli articoli |
| GPTBot | 28 | Header degli articoli, foto autore (tutti il 19 marzo) |
| PerplexityBot | 18 | Immagini degli articoli |
| ClaudeBot | 10 | Foto autore, screenshot (tutti il 18 marzo) |
| ChatGPT-User | 0 | Non recupera mai immagini |
Googlebot recupera immagini per il rendering. OAI-SearchBot probabilmente le recupera per le card dei risultati di ricerca. GPTBot e ClaudeBot hanno entrambi eseguito burst concentrati di immagini in un singolo giorno ciascuno, suggerendo sessioni di indicizzazione batch.
ChatGPT-User recupera zero immagini. Pura estrazione di testo.
Altri bot notevoli scoperti
PromptingBot/1.0.0 (104 richieste)
- Opera su infrastruttura Google Cloud
- Attivo dal 24 febbraio al 13 marzo
- Esegue rendering completo delle pagine (recupera CSS, JS, immagini, icone social)
- Punta ai contenuti sulle metriche di performance AI
LinkupBot/1.0 (47 richieste)
- Da linkup.so, un servizio di indicizzazione web
- Infrastruttura Microsoft, origine: Francia
- Controlla robots.txt, poi si concentra su contenuti di migrazione/redirect
Brightbot 1.0 (46 richieste)
- Da truview LLC, 41 IP unici
- Si concentra sulle varianti in lingua olandese
Observer/1.0 (36 richieste)
- Da obsrvr.net, infrastruttura tedesca/finlandese
- Esegue il crawl solo di robots.txt e di un singolo articolo in francese
Dataprovider.com (148 richieste)
- Azienda canadese di web analytics
- L’unico bot che verifica /llms.txt (3 volte)
- Controlla anche /ads.txt e /humans.txt
Metodi HTTP
Ogni singolo bot utilizza esclusivamente GET. Zero HEAD, POST o altri metodi su tutte le 12.099 richieste dei bot.
Dati su paese/ASN
| Bot | ASN primario | Paesi |
|---|---|---|
| GPTBot | Microsoft Limited | Solo USA |
| OAI-SearchBot | Microsoft Limited (87%) + Microsoft Corp (13%) | Solo USA |
| ChatGPT-User | Microsoft Corporation (78%) | USA (50%), Polonia (16%), Australia (5%), Spagna (5%), Giappone (5%), Brasile (4%), 15 paesi |
| ClaudeBot | Anthropic, PBC (97%) | Solo USA |
| Claude-SearchBot | Anthropic, PBC (100%) | Solo USA |
| Claude-User | Google LLC (100%) | Solo USA |
| PerplexityBot | Amazon Technologies Inc. (96%) | Solo USA |
| Amazonbot | Amazon (100%) | Solo USA |
| Applebot | Apple Inc. (100%) | Solo USA |
| Bingbot | Microsoft Corporation (99,7%) | Solo USA |
| Googlebot | Google LLC (91%) | USA (92%), Svezia (8%) |
| Meta-WebIndexer | Meta Platforms Ireland Ltd (100%) | Solo USA |
| Bytespider | Amazon Singapore (53%), China Unicom (47%) | Singapore (53%), Cina (47%) |
Tutti i principali bot AI operano da infrastruttura USA ad eccezione di Bytespider (Singapore/Cina). ChatGPT-User è l’unico bot con una distribuzione veramente globale, che riflette la sua base di utenti umani.
Domande frequenti
Quali bot AI visitano i siti web più frequentemente nel 2026?
Sulla base di 48 giorni di dati dai log del server di wislr.com, i bot AI con il volume più alto sono Meta-WebIndexer (1.833 richieste), ChatGPT-User (923 richieste), Claude-SearchBot (549 richieste), Applebot (495 richieste), PerplexityBot (456 richieste), OAI-SearchBot (330 richieste), ClaudeBot (206 richieste) e GPTBot (187 richieste). ChatGPT-User ha mostrato la crescita più rapida con +201% tra febbraio e marzo 2026.
I bot AI controllano robots.txt prima del crawling?
Varia molto. OAI-SearchBot controlla robots.txt 3-6 volte al giorno senza eccezioni. ClaudeBot e Claude-SearchBot lo controllano in media 4 volte al giorno. Bytespider e CCBot controllano solo robots.txt e non eseguono mai il crawl di alcun contenuto effettivo. Tuttavia, GPTBot e Meta-WebIndexer non controllano mai robots.txt, nonostante siano tra i crawler più attivi. Anche ChatGPT-User non controlla mai robots.txt.
Qualche bot AI richiede llms.txt?
No. Su 12.099 richieste di bot in 48 giorni, zero bot AI hanno richiesto /llms.txt o /llm.txt. L’unico bot che ha verificato llms.txt è stato Dataprovider.com, un’azienda di web analytics, non una piattaforma AI. Nonostante la crescente discussione su llms.txt come standard, nessun crawler AI lo cerca attualmente nella pratica.
Qual è la differenza tra GPTBot e ChatGPT-User?
GPTBot è il crawler di addestramento e indicizzazione di OpenAI che esegue sistematicamente il crawl di pagine, varianti linguistiche e immagini in burst concentrati, spesso senza controllare robots.txt. ChatGPT-User si attiva quando una persona reale incolla un URL in una conversazione ChatGPT. ChatGPT-User ha avuto 584 IP unici per 923 richieste (quasi 1:1), confermando sessioni utente individuali. ChatGPT-User recupera solo testo HTML, mai immagini, CSS o JS. GPTBot recupera tutti i tipi di risorse.
Come si può rilevare il traffico dei bot AI sul proprio sito web?
Il traffico dei bot AI è invisibile agli strumenti di analytics lato client come Google Analytics perché i bot non eseguono JavaScript. Serve un logging delle richieste lato server che catturi le richieste HTTP raw che arrivano al tuo dominio, incluso l’header User-Agent che identifica bot come GPTBot, ChatGPT-User, ClaudeBot e altri. La WISLR AI Visibility Dashboard fornisce questo livello di visibilità fin da subito.
Quali bot AI eseguono il crawl dei contenuti multilingue in modo più aggressivo?
Meta-WebIndexer dedica il 79,8% del proprio budget di crawl alle varianti linguistiche, rendendolo il crawler multilingue più aggressivo. GPTBot segue al 61,5%, eseguendo il crawl di tutte le 11 versioni linguistiche degli articoli. Anche Bingbot (60,3%) e PerplexityBot (52,9%) puntano pesantemente ai contenuti multilingue. Googlebot è notevolmente meno multilingue con solo il 10,4%. Il basso tasso del 4,7% di ChatGPT-User riflette il fatto che è guidato da utenti umani, non da crawling automatizzato.