Why We Re-Tested Our Own Insights
In maart 2026 publiceerden we twintig conclusies over het gedrag van AI-bots, op basis van 48 dagen serverlogs op één property. Dit is wat een langer, later venster ermee deed.
Botonderzoek veroudert snel, en het meeste wordt nooit gecontroleerd. We wilden weten hoe snel, dus hebben we de oorspronkelijke lijst opnieuw gedraaid tegen zes maanden logs op drie properties en per inzicht een oordeel vastgelegd. Zeventien konden hertoetst worden. Elf ervan waren binnen vijf maanden verschoven.
Het oorspronkelijke artikel staat nog precies zoals het was: AI-botverkeer versnelt razendsnel, de studie van 48 dagen. Daar is niets stilletjes aan bijgewerkt. Dit stuk is de audit ervan.
The 20 Takeaways, Re-Tested Six Months Later
Achterhaald en verschoven zijn samen goed voor 11 van de 17 inzichten, 65% van de lijst, in ruwweg vijf maanden. Elk oordeel beschrijft wat de crawlerpopulatie daarna deed, niet een gebrek in de oorspronkelijke meting. De oordelen komen uit een later, langer venster: 154.864 geclassificeerde requests op drie properties tussen 1 februari en 13 juli 2026, gekruist met een grotere ecommerce-property.
- 01Verschoven
Je sitemap.xml is net belangrijker geworden. GPTBot en ClaudeBot tilden hun sitemapconsumptie in maart 2026 allebei naar een hoger niveau en zijn nooit teruggezakt. Is je sitemap verouderd, incompleet of mist hij taalvarianten, dan lopen AI-crawlers content mis.
Zes maanden later per 20-7-26De sitemapconsumptie klom opnieuw en bleef daar. ClaudeBot is nu met ruime marge de grootste afnemer, ongeveer 6x Googlebot, en beide bots haalden in februari al sitemaps op, dus maart markeerde een escalatie en geen start.
- 02Blijft staan
robots.txt wordt niet door iedereen gerespecteerd. GPTBot en Meta-WebIndexer controleren het nooit. Als je AI-contentstrategie op robots.txt-directives leunt: twee van de actiefste crawlers negeren ze volledig.
Zes maanden later per 20-7-26GPTBot deed 2 robots.txt-requests tegenover 6.872 contentrequests. Meta deed er nul op 3.169. Bij allebei bevestigd.
- 03Achterhaald
ChatGPT-User-verkeer is een direct signaal van merkvermelding in AI-gesprekken. Elke request staat voor een echt persoon die jouw URL in ChatGPT plakt. Dit is meetbare mond-tot-mondreclame, en het groeit hard.
Zes maanden later per 20-7-2611% omhoog over vijf maanden, met een dip in het midden: 3.827 in februari tegenover 4.236 in juni. Het signaal is echt, en de groei vlakte af na het venster dat we maten.
- 04Blijft staan
AI-bots crawlen in bursts, niet in gestage stromen. GPTBot haalde 114 req/min in een venster van 3 minuten. Kan je server geen burstverkeer aan, dan worden AI-crawlers mogelijk afgeknepen of lopen ze tegen fouten aan tijdens hun indexeerruns.
Zes maanden later per 20-7-26Bevestigd en heftiger geworden. De piek ligt nu op 270 requests per minuut, met vier bots boven de 130.
- 05Blijft staan
OpenAI en Anthropic draaien elk 3 afzonderlijke bots. Eén voor training en indexering, één voor zoeken, één voor live gebruikerssessies. Eén blokkeren blokkeert de andere niet. Je robots.txt heeft voor elk aparte directives nodig.
Zes maanden later per 20-7-26Een ondergrens, geen bovengrens. OpenAI draait er nu minstens vier, waaronder een advertentiecrawler die een eigen lijst met IP-ranges publiceert. Drie per stuk is een ondergrens, geen telling.
- 06Achterhaald
OAI-SearchBot en Googlebot zijn de enige bots die afbeeldingen in volume ophalen. Dragen je artikelafbeeldingen betekenisvolle inhoud (grafieken, diagrammen, datavisualisaties), dan zijn dit de bots die ze in zoekresultaten gebruiken.
Zes maanden later per 20-7-26Zes bots halen nu een hoger aandeel afbeeldingen op dan Googlebot. De twee die hier genoemd worden staan 7e en 10e. Afbeeldingen ophalen is gangbaar in de hele crawlerpopulatie.
- 07Verschoven
ChatGPT-User haalt alleen tekst op. Nul afbeeldingen, nul CSS, nul JS. Je HTML-content is wat in AI-gesprekken terechtkomt. Gestructureerde, heldere tekst weegt voor AI-zichtbaarheid zwaarder dan visueel ontwerp.
Zes maanden later per 20-7-26Dicht in de buurt, maar niet meer nul: 1,9% afbeeldingen tegenover 95,3% pagina's. Het CSS- en JavaScript-deel is niet te controleren, omdat de logpipeline die bestanden verwijdert voordat ze worden opgeslagen.
- 08Verschoven
AI-crawlers pieken op verschillende uren. GPTBot slaat toe om 04:00 UTC. Claude-SearchBot piekt 's nachts. PerplexityBot bursts om 23:00, 05:00 en 09:00. Zet je sitewijzigingen live buiten de Amerikaanse piekuren, dan zien AI-bots ze mogelijk als eerste.
Zes maanden later per 20-7-26Het patroon houdt stand en elk specifiek uur is verschoven. GPTBot piekt nu om 17:00 UTC, en het is de meest in de tijd geconcentreerde crawler die we maten, met 21,4% van zijn hele volume binnen dat ene uur.
- 09Verschoven
Meta is qua volume de agressiefste AI-crawler. Meta-WebIndexer stuurde meer requests dan welke andere bot in deze dataset ook, met nul robots.txt-controles. Volg je de crawlers van Meta niet, dan mis je de grootste speler.
Zes maanden later per 20-7-26Dit inzicht liep bij het schrijven vooruit op de data en de data haalt het nu in. Over de volle zes maanden staat Meta 12e. In juli is het de zwaarste AI-crawler op de property, na tot mei volledig afwezig te zijn geweest.
- 10Achterhaald
De adoptie van llms.txt is nog theoretisch. Nul AI-bots vroegen /llms.txt op in 48 dagen. Het wordt misschien ooit een standaard, maar op dit moment zoekt geen enkele crawler ernaar.
Zes maanden later per 20-7-26Sindsdien wordt het voortdurend opgehaald, maar overweldigend door scanners, auditors en onderzoeksprobes in plaats van de frontier labs. CCBot, ClaudeBot en Googlebot halen het op. GPTBot niet.
- 11Verschoven
Applebot rendert je pagina's volledig. Het haalt CSS, JS en afbeeldingen op (47% van zijn verkeer). Heeft je content JavaScript-rendering nodig om compleet te zijn, dan ziet Applebot het wel, maar de meeste AI-bots niet.
Zes maanden later per 20-7-26Qua richting klopt het, in omvang ligt het nu duidelijk lager: afbeeldingen zijn 27,6% van het Applebot-verkeer, tegenover 47% toen. Het CSS- en JavaScript-deel is hier niet te toetsen, om dezelfde pipelinereden als bij inzicht 9 hierboven.
- 12Blijft staan
Technische how-to-content wordt het vaakst aangehaald in AI-gesprekken. De best bezochte ChatGPT-User-pagina's waren allemaal implementatiegidsen en technische uitleg. Diepgaande, specifieke content verdient AI-citaties.
Zes maanden later per 20-7-26De robuustste bevinding uit de oorspronkelijke lijst. Alle twaalf topbestemmingen zijn implementatiegidsen, toolvergelijkingen of technische analyses. Niets generieks, niets promotioneels. Eén enkele migratiegids trok 34% van al het ChatGPT-User-verkeer naar het netwerk.
- 13Achterhaald
Bytespider en CCBot controleren alleen robots.txt en crawlen nooit. Ze nemen je robots.txt-directives af zonder er iets mee te doen. Dit kan veranderen, maar op dit moment leveren ze complianceoverhead op met nul contentindexering.
Zes maanden later per 20-7-26Omgekeerd sinds onze meting. Bytespider is nu de op twee na zwaarste crawler op de property, en 94% van zijn 16.810 requests is content in plaats van compliance.
- 14Blijft staan
Het AI-crawlvolume kan van de ene op de andere dag omslaan. GPTBot ging in één week van 0 naar 187 requests. Je prognoses voor crawlbudget moeten rekening houden met plotselinge sprongen, niet met geleidelijke groei.
Zes maanden later per 20-7-26Bevestigd, met een helderder voorbeeld dan het oorspronkelijk aangehaalde. Meta ging in ongeveer acht weken van nul naar 2.615 requests per maand.
- 15Achterhaald
IP-analyse onthult de identiteit van een bot. De bijna 1:1-verhouding tussen IP's en requests van ChatGPT-User bewijst individuele gebruikerssessies. De 2 IP's van GPTBot bewijzen gecentraliseerde infrastructuur. IP-patronen helpen echte, door gebruikers uitgelokte fetches te onderscheiden van geautomatiseerd crawlen.
Zes maanden later per 20-7-26De methode houdt stand en elk getal erin is verschoven. ChatGPT-User draait nu 12,4 requests per IP over 1.588 adressen. GPTBot draait 129 IP's, geen 2. De hier beschreven bijna 1:1-vingerafdruk hoort nu bij Claude-User, op 1,4.
- 16Blijft staan
Gecoördineerde crawlgebeurtenissen komen voor binnen botfamilies. GPTBot en OAI-SearchBot vuurden op 19 maart gelijktijdig af vanaf dezelfde Microsoft-infrastructuur. Schaalt één OpenAI-bot op, reken dan op de andere.
Zes maanden later per 20-7-26Onafhankelijk bevestigd op exact de genoemde datum, een van slechts twee dagen in zes maanden waarop beide bots die drempels samen passeerden.
- 17Achterhaald
De bots waar je nog nooit van hoorde, zijn al langs geweest. PromptingBot, LinkupBot, Brightbot, Observer en andere crawlen actief content. Het AI-botlandschap is groter dan de bekende namen doen vermoeden.
Zes maanden later per 20-7-26Alle vier de genoemde bots deden nul requests in de nieuwe zes maanden. Het onderliggende punt houdt stand met een compleet andere cast: de long tail wordt nu gedomineerd door llms.txt-scanners en AI-readiness-auditors. Elke lijst met namen heeft een houdbaarheid van maanden.
This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.
What Six Months of Logs Changed
De oorspronkelijke studie liep 48 dagen op één property. Deze hertoets beslaat 154.864 geclassificeerde requests op drie properties tussen 1 februari en 13 juli 2026, gekruist met een grotere ecommerce-property met 7,26 miljoen requests, waarbij de botidentiteit via de user-agent is bepaald tegen een referentietabel met 75 patronen.
De oorspronkelijke studie van 48 dagen ging over één site en zei dat er ook bij. Deze hertoets beslaat drie properties die we zelf draaien, aangeduid als Site A, Site B en Site C, plus een grotere vergelijkingsproperty. We koppelen de labels niet aan domeinen, dus de zesmaandscijfers worden zonder toewijzing gerapporteerd.
Elf van de zeventien inzichten die we konden hertoetsen zijn binnen vijf maanden verschoven, zes achterhaald door nieuw crawlergedrag en vijf wezenlijk verschoven. Dat percentage is de bevinding. Het patroon eronder telt zwaarder dan welke afzonderlijke correctie ook: het gedrag hield stand en de cijfers schoven op. Bursts, gecoördineerde vendorgebeurtenissen, de voorkeur voor technische content, allemaal nog aanwezig. Elke specifieke botnaam, ratio en piekuur die we publiceerden is veranderd.
Meta went from absent to first in eight weeks
De grootste enkele verandering in de dataset. meta-externalagent registreerde tot mei helemaal niets, die maand één eenzame request, daarna 553 in juni en 2.615 in de eerste dertien dagen van juli. Het is nu de zwaarste AI-crawler op de property, en juli is een gedeeltelijke maand, dus dat cijfer valt nog te laag uit.
Over de volle zes maanden staat Meta twaalfde. In juli staat het eerste. Beide uitspraken kloppen, en precies daarom is een ranglijst uit één venster een zwakke basis voor een beslissing over crawlbudget. Het deed ook nul robots.txt-requests op 3.169 hits.
The bot rankings churn, the behaviours do not
Veertien bots met genoeg volume om maand voor maand te volgen. Let op hoe weinig de vorm van de populatie van februari tot juli op zichzelf lijkt.
The IP fingerprint inverted
De oorspronkelijke lezing gebruikte requests per IP om door gebruikers uitgelokte fetches te onderscheiden van gecentraliseerd crawlen. De methode werkt nog steeds. Elk getal erin is verschoven.
Image fetching is now common
Toen we maten, waren OAI-SearchBot en Googlebot de enige bots die afbeeldingen in volume ophaalden. Het ophalen van afbeeldingen heeft zich sindsdien over de crawlerpopulatie verspreid: zes bots halen nu een hoger aandeel op dan Googlebot, en de twee oorspronkelijk genoemde staan zevende en tiende.
llms.txt is measured, not consumed
Toen we maten, had geen enkele bot ooit /llms.txt opgevraagd. Dat is volledig veranderd, al niet op de manier die de voorstanders van de standaard zouden willen. Het wordt voortdurend opgehaald, vrijwel uitsluitend door tools die bestaan om te controleren of je er een publiceert.
Herkende crawlers van grote vendors die het ophaalden: CCBot, ClaudeBot, Googlebot en GoogleOther. Opvallend afwezig: GPTBot.
Bytespider does not just check robots.txt
Dit inzicht is niet afgedreven, het is omgekeerd. Bytespider is nu de op twee na zwaarste crawler op de property en 94% van zijn requests is content.
What Held Up
Zes van de oorspronkelijke inzichten doorstonden het langere venster ongeschonden, en dat zijn de inzichten die gedrag beschrijven in plaats van een koploper aanwijzen.
Technische content verdient de citaties. De robuustste bevinding uit de oorspronkelijke lijst. Alle twaalf topbestemmingen van ChatGPT-User zijn implementatiegidsen, toolvergelijkingen of technische analyses. Niets generieks, niets promotioneels. Eén enkele migratiegids trok 6.716 requests, 34% van al het ChatGPT-User-verkeer over het hele netwerk.
GPTBot negeert robots.txt nog steeds. Twee robots.txt-requests tegenover 6.872 contentrequests. Meta deed er nul op 3.169.
De bursts werden heftiger, niet rustiger. De piektempo's liggen nu ruim boven de 114 requests per minuut die oorspronkelijk werden gerapporteerd.
Vendors draaien nog steeds botvloten, en wij telden er te weinig. OpenAI draait minstens vier verschillende crawlers, waaronder een advertentiecrawler die een eigen lijst met IP-ranges publiceert. Anthropic draait ClaudeBot, Claude-User en Claude-SearchBot. Drie per stuk was een ondergrens, geen telling.
Gecoördineerde gebeurtenissen bestaan echt. Bevestigd op exact de datum die de oorspronkelijke post noemde: 19 maart laat GPTBot op 206 requests zien en OAI-SearchBot op 114, een van slechts twee dagen in zes maanden waarop beide die drempels samen passeerden.
Bots pieken nog steeds op verschillende uren, en elk uur is verschoven. GPTBot piekt niet meer om 04:00 UTC. Het piekt nu om 17:00, en het is de meest in de tijd geconcentreerde crawler die we maten: 21,4% van zijn hele zesmaandsvolume valt in dat ene uur van de dag.
What We Could Not Test
Twee schijnbare bevindingen bleken artefacten van de manier waarop de logs worden verzameld. Beide zijn het vermelden waard, want elk had een stellige kop kunnen opleveren die de data niet dragen.
robots.txt is onzichtbaar op de vergelijkingsproperty. Die gaf nul robots.txt-requests van welke bot dan ook, wat op een spectaculaire compliancebevinding lijkt maar dat niet is. Die site serveert robots.txt aan de CDN-edge, dus de request bereikt de gelogde laag nooit. Elke conclusie over robots.txt hier komt uitsluitend van de primaire property.
De bevindingen over CSS en JavaScript zijn met deze data hoe dan ook niet te controleren. De logsanitizer verwijdert .css, .js, fonts en source maps voor opslag. Inzicht 9 en 13 zijn alleen op hun afbeeldingscomponenten te toetsen.
Twee kleinere kanttekeningen. De dataset beslaat drie verwante properties in plaats van één, en de meest geciteerde content staat op één site binnen dat netwerk, wat de citatiebevindingen concentreert. En juli is een gedeeltelijke maand, tot en met de 13e, dus de julicijfers vallen te laag uit: Meta bereikt de eerste plaats ondanks dat.