Le pagine di training per LLM funzionano davvero?
Sì. In un test controllato di otto settimane, la categoria che ha ricevuto le pagine di training è stata crawlata circa il 17% in più rispetto a una categoria comparabile tenuta da parte come riferimento. Una categoria di prodotti ha ricevuto pagine di training per LLM prerenderizzate. Una categoria equivalente è stata esclusa dal rilascio e usata come riferimento. Otto settimane dopo, la categoria trattata riceveva 17% di crawl in più rispetto al gruppo di controllo. Nelle stesse settimane il crawling è cresciuto su tutto il sito: senza il gruppo di controllo non ci sarebbe modo di distinguere il nostro effetto dal rumore di fondo. La pagina che abbiamo modificato è una normale pagina di listing di categoria, quindi la stessa struttura vale per le pagine ecommerce su Shopify, Magento, Adobe Commerce, Salesforce Commerce Cloud e su qualsiasi piattaforma in grado di generare HTML lato server. Un training crawl è il modo in cui un modello impara il tuo brand a memoria. Se lo fai bene, l'assistente cita il tuo prodotto partendo da ciò che già sa: nessun fetch dal web, nessuna citazione, nessun link da cliccare, solo le specifiche e i confronti che ha letto una volta e trattenuto. Questo accade solo se un crawler di training è riuscito a leggere la pagina, ed è l'unico anello della catena che un brand può controllare e misurare direttamente. Qui sotto trovi la pagina che abbiamo pubblicato, le otto settimane successive al lancio e i tre test che abbiamo eseguito per provare a demolire il risultato.
- AI training crawls ran 17% above the untouched control. Misurato sulle 8 settimane successive al lancio. Il risultato regge a un placebo test su 46 date di lancio inventate, all'esclusione di qualsiasi singola pagina dall'analisi e alle variazioni della finestra di analisi.
- A comparable category ran alongside as a holdout, and every number is measured against it. Nello stesso periodo il crawling è cresciuto bruscamente su tutto il sito, quindi è il gruppo di controllo a separare l'effetto dal rumore di fondo. Ha retto anche i controlli sulla qualità dei dati: quando i training crawl hanno segnato zero per sette giorni consecutivi su tutte le categorie contemporaneamente, gruppo di controllo incluso, questo ha identificato un'interruzione del logging e non un comportamento dei crawler, e quei giorni sono stati esclusi.
- Both categories more than doubled. The training pages account for the 22% gap between them. I training crawl grezzi sono cresciuti di 2.7x sulla categoria trattata e di 2.2x sul gruppo di controllo, che non ha ricevuto nulla: gran parte di quella crescita era quindi di settore e sarebbe arrivata comunque. Indicizzate rispetto alle rispettive medie pre-lancio, le due linee chiudono la finestra a 22% di distanza. Sulla media delle otto settimane complete il divario si assesta al 17%.
-
In-stock pages gained 43% of training crawls. Out-of-stock pages lost 22%.
Pagine in stock (10): 5,090 → 7,270 training crawl (+43%)Pagine out of stock (3): 870 → 680 (−22%)Tutte le pagine out of stock hanno perso attenzione dei crawler. Il dato viene da 13 pagine e non lo avevamo previsto in anticipo: è una pista da testare come si deve, non un risultato.
- Once a model has read your pages, it can recommend them without looking them up. A training crawl is what puts your product facts into the model itself, so an assistant can answer from memory rather than going out to the web. Getting crawled is not the same as getting recommended. What it changes is what the model knows about your range by default, before anyone asks it anything, and it is the part of the chain a brand can change on purpose and check the next morning. Crawls are the only thing we measured here.
Una categoria ha ricevuto pagine di training. Una comparabile no.
Il nostro cliente ha pubblicato pagine di training per LLM prerenderizzate su una categoria di prodotti a maggio 2026. Una seconda categoria di dimensione comparabile è stata esclusa dal rilascio per poterla usare come riferimento. Tutto ciò che leggi in questo report è misurato rispetto a quel gruppo di controllo.
Qui una "pagina di training" è una pagina prerenderizzata, generata lato server e costruita perché un crawler AI possa leggere l'intera storia del prodotto senza eseguire JavaScript: specifiche, confronti e risposte in linguaggio semplice, con link nel corpo del testo verso ogni pagina prodotto. La domanda è se pubblicarle cambi qualcosa nel comportamento di un crawler.
Rispondere è più difficile di quanto sembri, perché il crawling AI sta crescendo ovunque. Pubblichi le pagine di training a maggio, vedi i crawl salire a giugno, e hai imparato ben poco. Devi sapere cosa sarebbe successo comunque. La categoria di controllo fornisce proprio questo: è la stima più vicina disponibile di ciò che avrebbe fatto la categoria trattata se non fosse stato pubblicato nulla.
Le categorie sono rinominate con nomi di pianeti. Le pagine prodotto dentro la categoria trattata sono rinominate con nomi di lune. I numeri sono esattamente quelli misurati. Il cliente e il suo settore non vengono divulgati.
La metrica sono i training crawl AI: le richieste dei crawler di training sulle pagine prodotto a cui la pagina di listing di ciascuna categoria rimanda dal corpo del testo. I link di navigazione, header e footer sono esclusi, quindi contiamo i crawl sulle pagine a cui la pagina di training punta davvero.
L'unità di osservazione è il giorno, non la singola richiesta. Una sessione di crawling può emettere centinaia di richieste in un burst, quindi trattare 17,030 richieste come 17,030 estrazioni indipendenti farebbe sembrare significativo quasi tutto. Nei grafici qui sotto ci sono 118 giorni, e 57 giorni per lato del lancio all'interno delle finestre statistiche.
Una volta che un modello ha letto le tue pagine, può raccomandarle senza doverle cercare.
Un training crawl sposta i fatti sui tuoi prodotti dentro al modello stesso, così un assistente può rispondere a memoria invece di andare sul web. È questa la metrica che lo studio muove.
Ecco come si presenta nella pratica. Qualcuno chiede a un assistente quale di questi dovrebbe prendere. L'assistente risponde nominando il tuo prodotto, descrivendo cosa fa e a chi si adatta, e confrontandolo con l'alternativa, tutto partendo da ciò che ha già imparato. Non c'è nessun fetch, nessuna citazione, nessun link alla fonte. Il modello conosce la tua gamma come conosce qualsiasi altra cosa, e quella conoscenza viene da pagine che un crawler di training ha letto e assorbito mesi prima.
Il retrieval live, in cui un assistente recupera una pagina mentre risponde e la cita, è l'altra via d'accesso. Conta, e parte dallo stesso punto: un crawler che chiede una pagina al tuo server e riceve qualcosa che riesce a leggere.
Se gli consegni un guscio JavaScript non sei in nessuna delle due. Il modello non impara cosa fa il tuo prodotto, il livello di retrieval non ha nulla da recuperare, e quando uno shopper chiede a un assistente di confrontare la tua gamma con quella di un concorrente, l'assistente risponde con ciò che ha. Di solito è un marketplace, un sito di recensioni o il concorrente.
Questa è la versione onesta del perché questo numero conta, ed è anche il motivo per cui stiamo attenti a ciò che ne deduciamo. Lo studio dimostra che le pagine di training hanno fatto leggere le pagine più spesso. Non dimostra cosa un modello abbia fatto con ciò che ha letto. Non fingeremo il contrario, e un report che salta da un grafico dei crawl direttamente a una promessa di fatturato è un report di cui non ti devi fidare.
Ciò che rende comunque il crawl degno di essere inseguito è che è l'unico anello della catena su cui puoi agire direttamente. Non puoi costringere un modello a citarti. Puoi decidere cosa il tuo server consegna a un crawler, e puoi contare cosa succede dopo.
Circa 3,000 parole di contenuto prerenderizzato stanno sotto la griglia prodotti.
"Pagina di training per LLM" è un'espressione vaga, quindi abbiamo smontato la pagina live e contato cosa c'era sopra.
La pagina di listing mantiene in alto la sua normale griglia prodotti. Tutto ciò che sta sotto la griglia è il contenuto di training: HTML prerenderizzato che un crawler può leggere senza eseguire JavaScript. Arriva a circa 3,000 parole, ovvero circa il 77% del testo del corpo della pagina.
La struttura si ripete di proposito. Ogni approfondimento di prodotto ha la stessa forma: una sezione "cosa rende diverso questo prodotto" divisa in sei motivi con titolo separato, seguita da una tabella delle specifiche. Un modello che la legge ha poco da dedurre, perché ogni risposta è già un blocco autonomo sotto un titolo che nomina la domanda a cui risponde.
Buona parte dei consigli sulla visibilità AI sono in realtà consigli sullo schema, quindi lo schema l'abbiamo lasciato fuori. Per lo stesso motivo abbiamo lasciato fuori i link ai prodotti dentro il testo. Ciò che si è mosso, si è mosso perché il contenuto era nell'HTML, organizzato sotto titoli e dentro tabelle, e leggibile senza un browser. Questo ci dà una base pulita su cui costruire: il prossimo test aggiunge i link interni, quello dopo aggiunge i dati strutturati, e ogni volta possiamo misurare quanto vale l'aggiunta di per sé invece di pubblicare tutto insieme e tirare a indovinare su quale parte abbia fatto il lavoro.
Un'altra cosa omessa di proposito: solo 6 delle 13 pagine prodotto collegate hanno ricevuto un proprio blocco di approfondimento. Le altre sette sono collegate dalla griglia e nulla più. Non è stata una svista. Restano così sette pagine che hanno beneficiato di stare su una pagina arricchita senza avere testo proprio, e questo si rivela uno dei confronti più utili dello studio.
I training crawl sono cresciuti di 2.7x sulla categoria trattata e di 2.2x sul gruppo di controllo. Il divario fra i due è del 22%.
Ogni linea è indicizzata in modo che la propria media pre-lancio sia 100, così entrambe partono allo stesso livello. Entrambe più che raddoppiano nella finestra, gruppo di controllo incluso, che non ha ricevuto nulla. Solo il 22% di distanza a cui chiudono può essere attribuito alle pagine di training.
In numeri settimanali grezzi la categoria trattata è passata da 630 crawl a settimana a 1,690, una crescita di 2.7x. Nelle stesse settimane il gruppo di controllo intatto è passato da 1,670 a 3,650, una crescita di 2.2x, senza alcuna pagina di training.
In questo momento il crawling AI sta salendo su quasi ogni sito, quindi quasi ogni modifica che pubblichi sarà seguita da un aumento dei crawl. Un aumento in sé porta quindi pochissima informazione. Ciò che porta informazione è crescere più in fretta di una categoria comparabile lasciata intatta.
La categoria trattata ha superato il gruppo di controllo del 17%.
Gli stessi dati con la marea crescente eliminata dal calcolo. La categoria trattata è divisa per il gruppo di controllo, poi indicizzata in modo che la media pre-lancio sia 100. Sopra 100 significa che è cresciuta più in fretta del resto del sito.
Prima del lancio la linea oscilla intorno a 100 senza trend, che è l'aspetto di un controllo valido: le due categorie si muovevano insieme. Dopo il lancio sale e resta su. La media post-lancio della linea stessa è 114. La stima formale, che è una regressione in scala logaritmica e non una media di rapporti, è +16.8% con un intervallo di confidenza al 95% da +7.8% a +26.4%. Due stimatori diversi, entrambi dentro la stessa fascia.
La linea blu e la fascia ombreggiata sono oggetti diversi. La linea è un rapporto giornaliero e un singolo giorno significa pochissimo. La fascia è il lift medio stimato su tutta la finestra post-lancio, e la sua altezza è l'incertezza attorno a quella media. Il risultato è la fascia. Non l'ultimo punto della linea.
Come abbiamo validato il risultato: tre test, e ha retto a tutti e tre.
Un test che restituisce un buon numero vale poco da solo. Questi sono i tre che gli abbiamo messo contro.
46 date di lancio inventate non hanno prodotto nulla.
Abbiamo rieseguito l'intera analisi su 46 date di lancio inventate. Un metodo che trova effetti su quelle sta trovando effetti nel rumore. Nessuna delle 46 ha prodotto un effetto grande quanto quello reale.
Nessuna singola pagina regge il risultato.
Abbiamo escluso a turno ciascuna delle 13 pagine e rieseguito l'analisi. Il risultato ha retto ogni volta, in un intervallo da +10% a +19%. Nessuna singola pagina regge il risultato.
La stima è stabile al variare delle impostazioni.
Lunghezze diverse della finestra e diversi lag di autocorrelazione spostano la stima di qualche punto e non cambiano mai la conclusione.
Vale la pena mostrare un pattern a parte. Il crawling segue un forte ciclo settimanale, e la variazione dopo il lancio è molto disomogenea lungo la settimana. Qualsiasi confronto che non allinei il giorno della settimana in modo omogeneo sta in parte misurando il calendario.
Il sabato è sceso. Ogni altro giorno è salito, e giovedì e domenica sono saliti di più.
Una correzione, e vale la pena esplicitarla. Un risultato come questo potrebbe in linea di principio essere una coincidenza, quindi la prima cosa che facciamo è chiederci quanto grande dovrebbe essere quella coincidenza. Il nostro primo calcolo diceva che le probabilità di ottenerlo per pura fortuna erano circa 1 su 3,000.
Il placebo test ci ha detto che quel numero era troppo generoso. Quando abbiamo puntato la stessa matematica su date in cui non era successo nulla, continuava a dichiarare un risultato molto più spesso di quanto avrebbe dovuto: il metodo si lascia impressionare più facilmente di quanto ammetta. Abbiamo abbassato la nostra fiducia di conseguenza. Una stima corretta delle probabilità è più vicina a 1 su 50. Resta un risultato reale, solo con una pretesa più contenuta della prima.
Le probabilità non sono il numero a cui aggrapparsi. Lo è l'intervallo. La nostra stima migliore del lift è 17%, e la fascia attorno va da 8% a 26%. È la frase che difenderemmo: le pagine di training hanno prodotto fra l'8% e il 26% di crawling in più, e con ogni probabilità intorno al 17%.
Il crawling in più è finito sui prodotti che erano in stock.
La media di categoria nasconde la forma di tutto questo. Scomposto sulle 13 pagine prodotto, il crawling in più si distribuisce in modo molto disomogeneo.
Aggregare le pagine prima di applicare lo smoothing è ciò che rende leggibile il grafico. Una singola pagina prodotto riceve una manciata di crawl al giorno, e una linea così è per lo più rumore. Sommate, le dieci pagine in stock restano piatte per tutta la primavera e poi salgono di un gradino dopo il lancio. Le tre pagine out of stock fanno qualcosa di diverso, e non è esattamente la storia che ci aspettavamo.
La linea out of stock stava già scivolando prima che le pagine di training esistessero. Arriva bassa alla data di lancio e scende ancora dopo. Non possiamo attribuire tutto quel calo alle pagine di training, e non lo faremo. Una parte è iniziata prima, per ragioni che questo studio non ha misurato.
Pagina per pagina il rumore è evidente, ed è proprio il motivo per cui lo mostriamo. I singoli pannelli si allontanano parecchio dalla propria linea di base in entrambe le direzioni prima che venisse pubblicato qualcosa. Ciò che sopravvive a quel rumore è il conteggio alla fine della finestra.
E non è solo questione di disponibilità. Ricorda che solo sei delle tredici pagine hanno ricevuto un proprio blocco di approfondimento. Ordina le pagine in base a ciò che la pagina di training ha effettivamente dato loro e compare un gradiente.
Le pagine con un blocco di testo proprio hanno guadagnato di più. Le pagine solo collegate da una pagina diventata più ricca hanno comunque guadagnato, ed è la metà più sorprendente: un prodotto non ha bisogno di testo proprio per trarne beneficio. Le pagine out of stock hanno perso terreno in entrambi i casi.
Tutte e tre le pagine out of stock hanno perso attenzione dei crawler lungo la finestra. Nove delle dieci pagine in stock ne hanno guadagnata. L'eccezione, Pandora, è una voce di catalogo a basso valore più che un prodotto principale, ed è scesa del 32%.
Questa affermazione poggia su 13 punti dato e non l'avevamo prevista in anticipo. Nessuna singola pagina qui è significativa di per sé e non abbiamo associato alcun p-value a nessuna di esse. Anche una parte del calo delle pagine out of stock precede il lancio, come mostra il grafico aggregato. È una pista da testare come si deve su un'altra categoria, non un risultato.
Il risultato riguarda i training crawl. Non si estende oltre.
Cosa questo design misura bene, e dove si ferma.
I training crawl sono la metrica che questo studio può reggere. I conteggi giornalieri sono abbastanza numerosi, il gruppo di controllo è pulito e l'effetto sopravvive a ogni test che gli abbiamo messo contro. Tutto in questo report è un'affermazione su quanto spesso i crawler AI hanno recuperato queste pagine, e nulla di più.
Il comportamento a valle è un'altra questione. I referral dagli assistenti AI risultano a +9% rispetto al gruppo di controllo, ma la variazione più piccola che questo design riesce a rilevare in modo affidabile è intorno al ±72%: quel numero è rumore travestito da risultato. Non lo riporteremo come un dato. Misurare cosa succede dopo il crawl richiede molto più traffico o molto più tempo, e con ogni probabilità entrambi.
Una categoria non è una legge. Questa è una singola categoria trattata, misurata contro un singolo gruppo di controllo per otto settimane. Basta per dire che il meccanismo qui ha funzionato. Non basta per dire quanto grande sarebbe l'effetto su un altro catalogo, in un altro settore, o fra un anno.
Costruire la tua prima pagina di training per LLM: cosa metterci sopra e come capire se ha funzionato.
Questa è la pagina che abbiamo misurato, descritta come specifica costruttiva, più il setup di misurazione su cui insisteremmo prima che chiunque pubblichi qualcosa.
La pagina che ha prodotto un lift del 17% è una pagina di listing di categoria con un blocco lungo e ben organizzato di HTML prerenderizzato sotto la griglia prodotti. Non c'è alcun trucco. I passaggi qui sotto sono ciò di cui quella pagina è fatta, nell'ordine in cui la costruiremmo di nuovo.
Mettila sulla pagina categoria, sotto la griglia
Non su un nuovo URL e non nascosta dietro un tab o un accordion. La pagina che stai arricchendo è quella che già rimanda a ogni prodotto della gamma, e sono quei link ai prodotti che il crawler segue subito dopo.
Fai prima la noiosa SEO tecnica, perché senza quella niente di tutto questo funziona
La pagina deve essere raggiungibile prima di poter essere letta. Verifica che restituisca un 200 e che non sia bloccata in robots.txt per gli user-agent AI che ti interessano, che sia nella XML sitemap, che sia collegata da un punto reale invece di restare orfana, che il canonical punti a se stessa e che non sia noindex. Ogni numero in questo report dipende dalla capacità di un crawler di raggiungere la pagina, e nulla di ciò che ci scrivi conta se non ci arriva.
Prerenderizzala. Questa è la parte non facoltativa
Il testo deve trovarsi nell'HTML che arriva dal server. Se un crawler deve eseguire JavaScript per vedere il tuo contenuto, dai per scontato che non lo vedrà. Recupera la pagina con JavaScript disattivato e leggi cosa torna indietro. Quella è la tua pagina di training.
Nulla di tutto questo è specifico di una piattaforma. Una pagina di listing di categoria è una pagina di listing di categoria, e ogni stack ecommerce importante può generarne una lato server. Ciò che cambia è cosa rischia di romperla.
Il test è lo stesso ovunque e richiede un minuto: richiedi la pagina con JavaScript disattivato e leggi cosa torna indietro. Se il blocco non è in quell'HTML, per questo studio non esiste.
Un blocco per ogni prodotto che vuoi davvero vendere, circa 400 parole
Sei prodotti hanno ricevuto un blocco, in media circa 400 parole. Ognuno seguiva lo stesso scheletro: una sezione "cosa rende diverso questo prodotto", poi una tabella delle specifiche. La ripetizione fra prodotti è un pregio. Rende l'intera gamma facile da analizzare e facile da confrontare.
Spezza l'argomentazione in circa sei motivi con titolo separato
Non un elenco puntato e non un unico paragrafo continuo. Ogni motivo ha il proprio sottotitolo e circa 30 parole sotto. Il titolo deve nominare la cosa a cui risponde, così la risposta può essere estratta da sola e restare comprensibile.
Dai a ogni prodotto una tabella delle specifiche
Circa 14 righe di attributi: tutto ciò che un acquirente confronterebbe davvero prima di scegliere fra due dei tuoi prodotti. Una tabella dichiara il dato e l'etichetta del dato nella stessa riga, ed è per questo che resiste all'estrazione molto meglio della stessa informazione scritta in prosa.
Aggiungi una tabella comparativa su tutta la gamma
Stessi attributi, tutti i prodotti, prezzo incluso. È l'oggetto più citabile della pagina: è la risposta a "quale dovrei prendere", che è la domanda che le persone pongono davvero a un assistente.
Chiudi con quattro o cinque vere domande d'acquisto
Domande come titoli, risposte di circa 100 parole e una piccola tabella dentro la risposta dove una tabella aiuta. Scrivi le domande che riceve il tuo team commerciale, non quelle che suggerisce un keyword tool.
Puntala sui prodotti che puoi davvero vendere
In questo studio ogni pagina out of stock ha perso attenzione dei crawler mentre le pagine in stock ne hanno guadagnata. Quella divisione non è dimostrata e parte del calo precede il lancio, ma agire di conseguenza non costa nulla. Non spendere crawl budget pubblicizzando prodotti che nessuno può comprare.
Scegli un gruppo di controllo prima di costruire qualsiasi cosa
Scegli una categoria comparabile per dimensione e traffico, e metti per iscritto che questo trimestre non riceverà pagine di training. Senza di essa non puoi distinguere il tuo effetto dalla crescita di settore del crawling AI, e finirai per riportare quella crescita come se l'avessi causata tu.
Raccogli prima almeno otto settimane di baseline
Ti serve abbastanza storico per dimostrare che le due categorie si muovevano insieme prima che ne modificassi una. Se stavano già divergendo, il confronto non vale nulla, e puoi scoprirlo solo dalla baseline.
Registra le richieste dei crawler AI all'edge, per URL e per giorno
Log del server o della CDN, non un tag di analytics JavaScript: i crawler che ti interessano non eseguono mai il tag. Mantieni la granularità giornaliera. Il giorno è l'unità che analizzerai, perché una singola sessione di crawling può generare centinaia di richieste in un burst e contare le richieste farebbe sembrare significativo quasi tutto.
È esattamente per questo che è stato costruito WISLR AI Channel Analytics. Legge il traffico dei crawler AI all'edge, per URL e per giorno, dai tuoi log invece che da una stima di terze parti, ossia esattamente i dati su cui è costruito ogni numero di questo report. Se non vuoi assemblare la pipeline da solo, questa è la scorciatoia.
Riporta il divario, mai la crescita grezza
I tuoi crawl saliranno. Saliranno anche quelli del gruppo di controllo. L'unico numero che vale la pena portare davanti al management ecommerce è la differenza fra i due, e qualsiasi report che ti mostri la crescita dei crawl senza un gruppo di confronto ti sta mostrando un grafico, non un risultato.
Rimisura fra un trimestre
Le settimane più forti di questo studio sono state le ultime due. O è un effetto cumulativo, con i crawler che reindicizzano la gamma, oppure è rumore, e otto settimane non bastano a distinguerli. Fissa il follow-up adesso, finché il gruppo di controllo esiste ancora.
Possiamo eseguire questo studio sul tuo catalogo.
Costruiamo le pagine di training, teniamo da parte una categoria comparabile come riferimento prima che venga pubblicato qualsiasi cosa, e misuriamo cosa hanno fatto le pagine rispetto a essa. È la differenza fra riportare una crescita di 2.7x e riportare il 22% che hai davvero causato.