Onderzoek over hoe AI-agents interacteren met je website.
Veldonderzoek over hoe AI en het open web elkaar daadwerkelijk ontmoeten. Elk rapport vertrekt vanuit ruwe data: toegangslogs, HTTP-fingerprints, verkeerspatronen en directe tests.
Werken LLM-trainingspagina's echt? Ja, 17% meer crawls in een gecontroleerde test
Ja. In een gecontroleerde test van acht weken werd de categorie met trainingspagina's ongeveer 17% vaker gecrawld dan een vergelijkbare categorie die als basislijn werd achtergehouden. Eén productcategorie in een webshop kreeg geprerenderde LLM-trainingspagina's; een vergelijkbare categorie werd als controlegroep buiten de uitrol gehouden. Acht weken later werd de behandelde categorie 17% vaker gecrawld dan de holdout, terwijl het crawlen in dezelfde periode sitebreed toenam. De holdout is dus wat het effect scheidt van de achtergrond. Trainingscrawls zijn hoe een model je producten goed genoeg leert kennen om ze aan te bevelen zonder ze op te zoeken. De opzet is toepasbaar op ecommerce-categoriepagina's op Shopify, Magento, Adobe Commerce, Salesforce Commerce Cloud, BigCommerce, WooCommerce en headless storefronts.
Wat Shopify controleert voor agentic readiness
We hebben een Shopify-storefront door shopify.com/agentic-readiness gehaald, de publieke agentic-readiness scanner. Hier zijn de 41 URL's die Shopify aftast en wat je in je winkel moet voorbereiden.
De bots die Shopify's agentic stack crawlen
Twee maanden edge-logs van een Shopify-onderzoeksstorefront. Microsoft Copilot is de enige organische agentic verifier die zelfstandig polt. Veelvoorkomende LLM-crawlers (GPTBot, ClaudeBot, Bingbot) blijven het oude llms-txt-pad raken en negeren de nieuwere agent-discovery-bestanden.
