Werken LLM-trainingspagina's echt?
Ja. In een gecontroleerde test van acht weken werd de categorie met trainingspagina's ongeveer 17% vaker gecrawld dan een vergelijkbare categorie die als basislijn werd achtergehouden. Eén productcategorie kreeg geprerenderde LLM-trainingspagina's. Een vergelijkbare categorie werd buiten de uitrol gehouden en als controlegroep gebruikt. Acht weken later werd de behandelde categorie 17% vaker gecrawld dan de holdout. Het crawlen nam in diezelfde weken over de hele site toe, dus zonder de holdout was er geen manier geweest om ons effect van de achtergrond te onderscheiden. De pagina die we aanpasten is een gewone categoriepagina, dus dezelfde opzet werkt op ecommerce-pagina's in Shopify, Magento, Adobe Commerce, Salesforce Commerce Cloud en elk ander systeem dat HTML op de server kan renderen. Een trainingscrawl is hoe een model je merk uit het hoofd leert. Doe je het goed, dan noemt de assistent je product op basis van wat hij al weet: geen fetch, geen bronvermelding, geen link om aan te klikken, alleen de specificaties en vergelijkingen die hij ooit las en onthield. Dat gebeurt alleen als een trainingscrawler de pagina überhaupt kon lezen, en dat is de enige schakel in de keten die een merk direct kan sturen en direct kan meten. Hierna volgt de pagina die we live zetten, de acht weken daarna en de drie tests waarmee we het resultaat probeerden te breken.
- AI training crawls ran 17% above the untouched control. Gemeten over de 8 weken na de lancering. Het resultaat houdt stand in een placebotest op 46 verzonnen lanceerdata, bij het weglaten van elke afzonderlijke pagina uit de analyse, en bij wijzigingen van het analysevenster.
- A comparable category ran alongside as a holdout, and every number is measured against it. Het crawlen nam sitebreed sterk toe in hetzelfde venster, dus de holdout is wat het effect scheidt van de achtergrond. De holdout droeg ook de datakwaliteitscontroles: toen de trainingscrawls zeven dagen achtereen nul aangaven bij alle categorieën tegelijk, de holdout inbegrepen, wees dat op een storing in de logging en niet op crawlergedrag, en die dagen zijn verwijderd.
- Both categories more than doubled. The training pages account for the 22% gap between them. De ruwe trainingscrawls stegen 2.7x op de behandelde categorie en 2.2x op de holdout die helemaal niets kreeg, dus het grootste deel van die groei speelde branchebreed en was er sowieso gekomen. Geïndexeerd tegen hun eigen gemiddelden van voor de lancering eindigen de twee lijnen 22% uit elkaar. Gemiddeld over de volle acht weken komt het verschil uit op 17%.
-
In-stock pages gained 43% of training crawls. Out-of-stock pages lost 22%.
Pagina's op voorraad (10): 5,090 → 7,270 trainingscrawls (+43%)Pagina's niet op voorraad (3): 870 → 680 (−22%)Elke pagina die niet op voorraad was, verloor crawlaandacht. Dit komt van 13 pagina's en we hadden het vooraf niet voorspeld, dus het is een spoor dat we goed zouden willen testen en geen bevinding.
- Once a model has read your pages, it can recommend them without looking them up. A training crawl is what puts your product facts into the model itself, so an assistant can answer from memory rather than going out to the web. Getting crawled is not the same as getting recommended. What it changes is what the model knows about your range by default, before anyone asks it anything, and it is the part of the chain a brand can change on purpose and check the next morning. Crawls are the only thing we measured here.
Eén categorie kreeg trainingspagina's. Een vergelijkbare categorie niet.
Onze klant zette in mei 2026 geprerenderde LLM-trainingspagina's live voor één productcategorie. Een tweede categorie van vergelijkbare omvang werd buiten de uitrol gehouden zodat die als controlegroep kon dienen. Alles in dit rapport is gemeten tegen die holdout.
Een "trainingspagina" is hier een geprerenderde, servergerenderde pagina die zo is gebouwd dat een AI-crawler het hele productverhaal kan lezen zonder JavaScript uit te voeren: specificaties, vergelijkingen en antwoorden in gewone taal, met links vanuit de bodytekst naar elke productpagina. De vraag is of het live zetten daarvan iets verandert aan wat een crawler doet.
Die vraag beantwoorden is lastiger dan het lijkt, want AI-crawlen neemt overal toe. Zet in mei trainingspagina's live, zie de crawls in juni stijgen, en je hebt bijzonder weinig geleerd. Je moet weten wat er sowieso was gebeurd. De holdoutcategorie levert dat: het is de best beschikbare schatting van wat de behandelde categorie had gedaan als er niets was gelanceerd.
Categorieën zijn hernoemd naar planeten. De productpagina's binnen de behandelde categorie zijn hernoemd naar manen. De cijfers zijn exact zoals gemeten. Onze klant en hun branche worden niet bekendgemaakt.
De metriek is AI-trainingscrawls: hits van AI-trainingscrawlers op de productpagina's waar de categoriepagina van elke groep vanuit haar bodytekst naar linkt. Links in navigatie, header en footer tellen niet mee, dus we tellen crawls op de pagina's waar de trainingspagina daadwerkelijk naar wijst.
De waarnemingseenheid is de dag, niet de hit. Eén crawlersessie kan honderden verzoeken in een stoot afvuren, dus 17,030 hits behandelen als 17,030 onafhankelijke trekkingen zou vrijwel alles significant laten lijken. Er staan 118 dagen op de grafieken hieronder, en 57 dagen aan weerszijden van de lancering binnen de statistische vensters.
Zodra een model je pagina's heeft gelezen, kan het ze aanbevelen zonder ze op te zoeken.
Een trainingscrawl verplaatst je productfeiten naar het model zelf, zodat een assistent uit het geheugen kan antwoorden in plaats van het web op te gaan. Dat is de metriek die dit onderzoek beweegt.
Zo ziet dat er in de praktijk uit. Iemand vraagt een assistent welk product hij moet nemen. De assistent antwoordt door jouw product te noemen, te beschrijven wat het doet en voor wie het geschikt is, en het te vergelijken met het alternatief, allemaal op basis van wat hij al geleerd heeft. Er is geen fetch, geen citatie en geen bronlink. Het model kent je assortiment zoals het al het andere kent, en die kennis kwam van pagina's die een trainingscrawler maanden eerder las en opnam.
Live retrieval, waarbij een assistent midden in het antwoord een pagina ophaalt en citeert, is de andere ingang. Die telt mee, en begint op precies dezelfde plek: een crawler die je server om een pagina vraagt en iets leesbaars terugkrijgt.
Geef je hem een JavaScript-schil, dan zit je in geen van beide. Het model leert niet wat je product doet, de retrievallaag heeft niets om op te halen, en als een shopper een assistent vraagt jouw assortiment te vergelijken met dat van een concurrent, antwoordt de assistent met wat hij wél heeft. Dat is meestal een marketplace-listing, een reviewsite of de concurrent.
Dat is de eerlijke versie van waarom dit getal ertoe doet, en het is ook de reden dat we voorzichtig zijn met wat we eruit afleiden. Dit onderzoek bewijst dat de trainingspagina's ervoor zorgden dat de pagina's vaker werden gelezen. Het bewijst niet wat een model met het gelezene deed. We gaan niet doen alsof dat anders is, en een rapport dat rechtstreeks van een crawlgrafiek naar een omzetbelofte springt, is een rapport dat je niet moet vertrouwen.
Wat de crawl toch de moeite waard maakt, is dat het de enige schakel in de keten is waar je direct op kunt handelen. Je kunt een model niet dwingen je te citeren. Je kunt wél bepalen wat je server aan een crawler geeft, en je kunt tellen wat er daarna gebeurt.
Ruwweg 3,000 woorden geprerenderde content staan onder het productraster.
"LLM-trainingspagina" is een vage term, dus we hebben de live pagina uit elkaar gehaald en geteld wat erop stond.
De categoriepagina houdt bovenaan haar normale productraster. Alles onder het raster is de trainingscontent: geprerenderde HTML die een crawler kan lezen zonder JavaScript uit te voeren. Het gaat om ruwweg 3,000 woorden, ongeveer 77% van de bodytekst op de pagina.
De structuur herhaalt zichzelf met opzet. Elke product-deepdive heeft dezelfde vorm: een sectie "wat maakt dit product anders", opgesplitst in zes afzonderlijk gekopte redenen, gevolgd door een specificatietabel. Een model dat dit leest, hoeft weinig af te leiden, want elk antwoord staat al als zelfstandig blok onder een kop die de vraag benoemt die het beantwoordt.
Heel veel advies over AI-zichtbaarheid is in feite advies over schema, dus we lieten het schema weg. Links naar de producten in de tekst lieten we om dezelfde reden weg. Wat er ook bewoog, bewoog omdat de content in de HTML stond, geordend onder koppen en in tabellen, en leesbaar zonder browser. Dat geeft ons een schone ondergrens om op te bouwen: de volgende test voegt de interne links toe, de test daarna de gestructureerde data, en elke keer kunnen we meten wat de toevoeging op zichzelf waard is in plaats van alles tegelijk uit te rollen en te gokken welk onderdeel het werk deed.
Nog iets wat we bewust achterhielden: slechts 6 van de 13 gelinkte productpagina's kregen een eigen deepdiveblok. De andere zeven zijn alleen vanuit het raster gelinkt en verder niets. Dat was geen vergissing. Het levert zeven pagina's op die profiteerden van hun plek op een verrijkte pagina zonder eigen tekst, en dat blijkt een van de nuttigste vergelijkingen in het onderzoek.
Trainingscrawls stegen 2.7x op de behandelde categorie en 2.2x op de holdout. Het verschil ertussen is 22%.
Elke lijn is zo geïndexeerd dat het eigen gemiddelde van voor de lancering 100 is, dus beide starten gelijk. Beide verdubbelen ruimschoots over het venster, ook de holdout, die niets kreeg. Alleen de 22% waarmee ze eindigen, kan aan de trainingspagina's worden toegeschreven.
In ruwe weekcijfers ging de behandelde categorie van 630 crawls per week naar 1,690, een stijging van 2.7x. In dezelfde weken ging de onaangeroerde controlegroep van 1,670 naar 3,650, een stijging van 2.2x, geheel zonder trainingspagina's.
AI-crawlen neemt op dit moment op bijna elke site toe, dus vrijwel elke wijziging die je live zet, wordt gevolgd door een stijging in crawls. Een stijging op zich zegt daarom bijzonder weinig. Wat wél iets zegt, is sneller groeien dan een vergelijkbare categorie die met rust is gelaten.
De behandelde categorie groeide 17% harder dan de controlegroep.
Dezelfde data met het stijgende tij eruit gedeeld. De behandelde categorie wordt gedeeld door de controlegroep en vervolgens geïndexeerd zodat het gemiddelde voor de lancering 100 is. Boven de 100 betekent dat de categorie harder groeide dan de rest van de site.
Voor de lancering zwerft de lijn rond de 100 zonder trend, en zo hoort een geldige controlegroep eruit te zien: de twee categorieën bewogen samen. Na de lancering veert de lijn op en blijft opgeveerd. Het eigen gemiddelde van de lijn na de lancering is 114. De formele schatting, een regressie op logschaal in plaats van een gemiddelde van ratio's, komt uit op +16.8% met een 95%-betrouwbaarheidsinterval van +7.8% tot +26.4%. Twee verschillende schatters, allebei binnen dezelfde band.
De blauwe lijn en de gearceerde band zijn verschillende dingen. De lijn is een dagelijkse ratio en één enkele dag daarvan zegt bijzonder weinig. De band is de geschatte gemiddelde stijging over het hele venster na de lancering, en de hoogte ervan is de onzekerheid rond dat gemiddelde. De band is de bevinding. Het laatste punt op de lijn niet.
Zo valideerden we de bevinding: drie tests, en hij hield stand in alle drie.
Eén test die een mooi getal oplevert, is op zichzelf weinig waard. Dit zijn de drie die we ertegenaan hebben gegooid.
46 verzonnen lanceerdata leverden niets op.
We draaiden de hele analyse opnieuw tegen 46 lanceerdata die we hebben verzonnen. Een methode die daar effecten vindt, vindt ze in de ruis. Geen van de 46 leverde een effect op zo groot als het echte.
Geen enkele pagina draagt het resultaat.
We lieten elk van de 13 pagina's om beurten weg en draaiden de analyse opnieuw. Het resultaat hield elke keer stand, met een spreiding van +10% tot +19%. Geen enkele pagina draagt de bevinding.
De schatting is stabiel over instellingen heen.
Verschillende vensterlengtes en autocorrelatievertragingen verschuiven de schatting met een paar punten en veranderen de conclusie nooit.
Eén patroon is het waard om apart te laten zien. Crawlen kent een sterke wekelijkse cyclus, en de verandering na de lancering is zeer ongelijk verdeeld over de week. Elke vergelijking die niet gelijk voor gelijk uitlijnt op de dag van de week, meet deels de kalender.
Zaterdag daalde. Alle andere dagen stegen, en donderdag en zondag stegen het hardst.
Eén correctie, en die is het waard om uit te schrijven. Een resultaat als dit kan in principe altijd toeval zijn, dus het eerste wat we doen, is vragen hoe groot dat toeval dan zou moeten zijn. Onze eerste doorrekening zei dat de kans hierop puur door geluk ongeveer 1 op 3,000 was.
De placebotest liet zien dat dat getal te vleiend was. Toen we dezelfde wiskunde richtten op data waarop niets was gebeurd, kwam die er nog steeds veel vaker met een resultaat uit dan zou moeten, dus de methode is makkelijker onder de indruk dan ze doet voorkomen. We hebben ons eigen vertrouwen daarop bijgesteld. Een eerlijke weergave van de kans ligt dichter bij 1 op 50. Dat is nog altijd een echt resultaat, alleen een bescheidener claim dan de eerste.
De kans is niet het getal om vast te houden. De bandbreedte wel. Onze beste schatting van de stijging is 17%, en de marge eromheen loopt van 8% tot 26%. Dat is de zin die we zouden verdedigen: de trainingspagina's leverden ergens tussen de 8% en 26% meer crawlen op, en waarschijnlijk rond de 17%.
Het extra crawlen landde op de producten die op voorraad waren.
Het categoriegemiddelde verhult de vorm hiervan. Uitgesplitst naar de 13 productpagina's landt het extra crawlen zeer ongelijk.
De pagina's bundelen vóór het smoothen maakt dit leesbaar. Eén productpagina krijgt een handvol crawls per dag, en één lijn daarvan is vooral gebibber. Bij elkaar opgeteld blijven de tien pagina's op voorraad het voorjaar door vlak en stappen ze na de lancering omhoog. De drie pagina's die niet op voorraad waren, doen iets anders, en dat is niet helemaal het verhaal dat we verwachtten.
De lijn voor niet op voorraad zakte al weg voordat de trainingspagina's bestonden. Hij komt laag de lanceerdatum binnen en daalt daarna verder. We kunnen die hele daling niet aan de trainingspagina's toeschrijven, en dat gaan we ook niet doen. Een deel begon eerder, om redenen die dit onderzoek niet heeft gemeten.
Pagina voor pagina is de ruis overduidelijk, en dat is precies waarom we het laten zien. Individuele panelen dwalen ver van hun eigen basislijn af, in beide richtingen, nog voordat er iets was gelanceerd. Wat die ruis overleeft, is de eindstand aan het einde van het venster.
En het gaat niet alleen om voorraadstatus. Onthoud dat slechts zes van de dertien pagina's een eigen deepdiveblok kregen. Sorteer de pagina's op wat de trainingspagina hun daadwerkelijk gaf en er verschijnt een gradiënt.
Pagina's met een eigen geschreven blok wonnen het meest. Pagina's die alleen gelinkt waren vanaf een pagina die rijker werd, wonnen ook, en dat is de verrassendere helft: een product heeft geen eigen tekst nodig om ervan te profiteren. Pagina's die niet op voorraad waren, verloren hoe dan ook terrein.
Alle drie de pagina's die niet op voorraad waren, verloren crawlaandacht over het venster. Negen van de tien pagina's op voorraad wonnen juist. De uitzondering, Pandora, is een laagwaardig artikel en geen hoofdproduct, en die daalde met 32%.
Die bewering rust op 13 datapunten en we hebben het vooraf niet voorspeld. Geen enkele pagina is hier op zichzelf significant en we hebben aan geen van alle een p-waarde gehangen. Een deel van de daling bij niet op voorraad dateert bovendien van voor de lancering, zoals de gebundelde grafiek laat zien. Het is een spoor dat het waard is om goed te testen op een andere categorie, geen resultaat.
De bevinding gaat over trainingscrawls. Verder reikt ze niet.
Wat deze opzet goed meet, en waar ze ophoudt.
Trainingscrawls zijn de metriek die dit onderzoek kan dragen. De dagelijkse aantallen zijn groot genoeg, de holdout is schoon, en het effect overleeft elke test die we erop hebben losgelaten. Alles in dit rapport is een uitspraak over hoe vaak AI-crawlers deze pagina's ophaalden, en niets meer dan dat.
Gedrag verderop in de keten is een andere vraag. Verwijzingen vanuit AI-assistenten kwamen uit op +9% ten opzichte van de holdout, maar de kleinste verandering die deze opzet betrouwbaar kon detecteren ligt rond ±72%, dus dat getal is ruis vermomd als resultaat. We gaan het niet als bevinding rapporteren. Meten wat er na de crawl gebeurt, vergt veel meer verkeer of veel meer tijd, en waarschijnlijk allebei.
Eén categorie is geen wet. Dit is één behandelde categorie, gemeten tegen één holdout, over acht weken. Het is genoeg om te zeggen dat het mechanisme hier werkte. Het is niet genoeg om te zeggen hoe groot het effect zou zijn in een andere catalogus, in een andere branche, of over een jaar.
Je eerste LLM-trainingspagina bouwen: wat erop moet, en hoe je weet of het werkte.
Dit is de pagina die we hebben gemeten, beschreven als bouwspecificatie, plus de meetopzet waar we op zouden staan voordat er ook maar iets live gaat.
De pagina die 17% stijging opleverde, is een categoriepagina met een lang, goed geordend blok geprerenderde HTML onder het productraster. Er zit geen truc in. De stappen hieronder zijn waar die pagina uit bestaat, in de volgorde waarin we hem opnieuw zouden bouwen.
Zet het op de categoriepagina, onder het raster
Niet op een nieuwe URL, en niet verstopt achter een tab of een accordeon. De pagina die je verrijkt is de pagina die al naar elk product in het assortiment linkt, en die productlinks zijn wat de crawler daarna volgt.
Doe eerst de saaie technische SEO, want zonder dat werkt niets hiervan
De pagina moet bereikbaar zijn voordat ze gelezen kan worden. Bevestig dat ze een 200 teruggeeft en niet geblokkeerd is in robots.txt voor de AI-user-agents waar het je om gaat, dat ze in de XML sitemap staat, dat ze ergens echt vandaan gelinkt is in plaats van verweesd, dat de canonical naar zichzelf wijst, en dat ze niet op noindex staat. Elk getal in dit rapport hangt ervan af dat een crawler de pagina kan bereiken, en geen enkel woord doet ertoe als dat niet lukt.
Prerender het. Dit is het deel dat niet optioneel is
De tekst moet in de HTML staan die van de server komt. Als een crawler JavaScript moet uitvoeren om je content te zien, ga er dan van uit dat hij je content niet zal zien. Haal de pagina op met JavaScript uitgeschakeld en lees wat er terugkomt. Dat is je trainingspagina.
Niets hiervan is platformspecifiek. Een categoriepagina is een categoriepagina, en elk groot ecommerce-platform kan er een op de server renderen. Wat verschilt, is wat het waarschijnlijk sloopt.
De test is overal dezelfde en kost een minuut: vraag de pagina op met JavaScript uit en lees wat er terugkomt. Staat het blok niet in die HTML, dan bestaat het niet, althans niet voor dit onderzoek.
Eén blok per product dat je echt wilt verkopen, ongeveer 400 woorden
Zes producten kregen hier een blok, gemiddeld ongeveer 400 woorden. Elk blok volgde hetzelfde skelet: een sectie "wat maakt dit product anders", gevolgd door een specificatietabel. Herhaling tussen producten is een voordeel. Het maakt het hele assortiment makkelijk te ontleden en makkelijk te vergelijken.
Splits het verhaal op in ongeveer zes afzonderlijk gekopte redenen
Geen opsomming, en geen doorlopende alinea. Elke reden krijgt een eigen tussenkop en ongeveer 30 woorden eronder. De kop moet benoemen wat hij beantwoordt, zodat het antwoord op zichzelf gelicht kan worden en toch klopt.
Geef elk product een specificatietabel
Ongeveer 14 attribuutrijen: alles wat een koper daadwerkelijk zou vergelijken voordat hij kiest tussen twee van je producten. Een tabel zet het feit en het label bij dat feit in dezelfde rij, en daarom overleeft die extractie zoveel beter dan dezelfde informatie in lopende tekst.
Voeg één vergelijkingstabel over het hele assortiment toe
Dezelfde attributen, elk product, prijs inbegrepen. Dit is het meest citeerbare object op de pagina: het is het antwoord op "welke moet ik hebben", en dat is de vraag die mensen daadwerkelijk aan een assistent stellen.
Sluit af met vier of vijf echte koopvragen
Vragen als koppen, antwoorden van ongeveer 100 woorden, en een kleine tabel in het antwoord waar een tabel helpt. Schrijf de vragen die je salesteam krijgt, niet de vragen die een keywordtool voorstelt.
Richt het op producten die je echt kunt verkopen
Elke pagina in dit onderzoek die niet op voorraad was, verloor crawlaandacht, terwijl de pagina's op voorraad juist wonnen. Die splitsing is onbewezen en een deel van de daling dateert van voor de lancering, maar ernaar handelen kost niets. Besteed geen crawlbudget aan het aanprijzen van producten die niemand kan kopen.
Kies een holdout voordat je iets bouwt
Kies een vergelijkbare categorie met een soortgelijke omvang en soortgelijk verkeer, en leg schriftelijk vast dat die dit kwartaal geen trainingspagina's krijgt. Zonder die categorie kun je je effect niet onderscheiden van de branchebrede toename in AI-crawlen, en rapporteer je die toename uiteindelijk alsof je hem zelf hebt veroorzaakt.
Verzamel eerst minstens acht weken basislijn
Je hebt genoeg historie nodig om te laten zien dat de twee categorieën samen bewogen voordat je er één veranderde. Liepen ze al uit elkaar, dan is de vergelijking waardeloos, en dat kun je alleen uit de basislijn opmaken.
Log AI-crawlerhits aan de edge, per URL, per dag
Server- of CDN-logs, geen JavaScript-analyticstag: de crawlers waar het om gaat voeren die tag nooit uit. Houd de dagelijkse granulariteit aan. De dag is de eenheid die je analyseert, want één crawlersessie kan honderden verzoeken in een stoot afvuren en hits tellen zou vrijwel alles significant laten lijken.
Hiervoor is WISLR AI Channel Analytics gebouwd. Het leest AI-crawlerverkeer aan de edge, per URL en per dag, uit je eigen logs in plaats van uit een schatting van derden, en dat is precies de data waarop elk getal in dit rapport is gebaseerd. Wil je de pipeline niet zelf in elkaar zetten, dan is dat de kortere weg.
Rapporteer het verschil, nooit de ruwe groei
Je crawls gaan omhoog. Die van de holdout ook. Het enige getal dat je aan de ecommerce-directie moet voorleggen, is het verschil tussen die twee, en elk rapport dat je crawlgroei laat zien zonder vergelijkingsgroep, laat je een grafiek zien in plaats van een resultaat.
Meet over een kwartaal opnieuw
De sterkste weken van dit onderzoek waren de laatste twee. Dat is óf een sneeuwbaleffect doordat crawlers het assortiment opnieuw indexeren, óf ruis, en acht weken kunnen dat verschil niet aantonen. Plan de vervolgmeting nu, zolang de holdout nog bestaat.
We kunnen dit onderzoek op jouw catalogus uitvoeren.
Wij bouwen de trainingspagina's, houden een vergelijkbare categorie achter als controlegroep voordat er iets live gaat, en meten wat de pagina's daartegen hebben gedaan. Dat is het verschil tussen een stijging van 2.7x rapporteren en de 22% rapporteren die je daadwerkelijk zelf hebt veroorzaakt.