Why We Re-Tested Our Own Insights
Im März 2026 haben wir zwanzig Erkenntnisse zum Verhalten von KI-Bots veröffentlicht, gewonnen aus 48 Tagen Serverlogs einer einzigen Property. Das hier hat ein längeres, späteres Fenster daraus gemacht.
Bot-Forschung altert schlecht, und kaum jemand prüft sie nach. Wir wollten wissen, wie schlecht, also haben wir die ursprüngliche Liste gegen sechs Monate Logs aus drei Properties laufen lassen und für jede Erkenntnis ein Urteil festgehalten. Siebzehn ließen sich erneut prüfen. Elf davon hatten sich innerhalb von fünf Monaten bewegt.
Der ursprüngliche Artikel steht weiterhin genau so online: KI-Bot-Traffic beschleunigt sich rasant, die 48-Tage-Studie. Dort wurde nichts still nachbearbeitet. Dieser Text ist das Audit dazu.
The 20 Takeaways, Re-Tested Six Months Later
Überholt und verschoben ergeben zusammen 11 der 17 Erkenntnisse, 65% der Liste, in rund fünf Monaten. Jedes Urteil beschreibt, was die Crawler-Population als Nächstes getan hat, keinen Mangel der ursprünglichen Messung. Die Urteile stammen aus einem späteren, längeren Fenster: 154.864 klassifizierte Requests über drei Properties zwischen dem 1. Februar und dem 13. Juli 2026, abgeglichen mit einer größeren Ecommerce-Property.
- 01Verschoben
Ihre sitemap.xml ist gerade wichtiger geworden. GPTBot und ClaudeBot haben die Sitemap-Nutzung im März 2026 beide auf ein höheres Niveau gehoben und sind nie zurückgegangen. Ist Ihre Sitemap veraltet, unvollständig oder ohne Sprachvarianten, übersehen KI-Crawler Inhalte.
Sechs Monate später Stand 20.07.26Die Sitemap-Nutzung ist erneut gestiegen und dort geblieben. ClaudeBot ist inzwischen mit großem Abstand der dominierende Abrufer, rund 6x Googlebot, und beide Bots haben schon im Februar Sitemaps geholt, der März war also eine Eskalation, kein Anfang.
- 02Gilt weiter
robots.txt wird nicht von allen respektiert. GPTBot und Meta-WebIndexer prüfen sie nie. Wenn Ihre KI-Content-Strategie auf robots.txt-Direktiven beruht: zwei der aktivsten Crawler ignorieren sie vollständig.
Sechs Monate später Stand 20.07.26GPTBot stellte 2 robots.txt-Requests gegenüber 6.872 Content-Requests. Meta null über 3.169. Bei beiden bestätigt.
- 03Überholt
ChatGPT-User-Traffic ist ein direktes Signal für Markenzitate in KI-Gesprächen. Jeder Request steht für einen echten Menschen, der Ihre URL in ChatGPT einfügt. Das ist messbare Mundpropaganda, und sie wächst schnell.
Sechs Monate später Stand 20.07.26Plus 11% über fünf Monate, mit einem Einbruch in der Mitte: 3.827 im Februar gegenüber 4.236 im Juni. Das Signal ist echt, das Wachstum hat sich nach unserem Messfenster abgeflacht.
- 04Gilt weiter
KI-Bots crawlen in Bursts, nicht in gleichmäßigen Strömen. GPTBot erreichte 114 Req/Min in einem Fenster von 3 Minuten. Wenn Ihr Server Burst-Traffic nicht verkraftet, werden KI-Crawler bei ihren Indexierungsläufen gedrosselt oder laufen in Fehler.
Sechs Monate später Stand 20.07.26Bestätigt und verstärkt. Die Spitze liegt jetzt bei 270 Requests pro Minute, vier Bots liegen über 130.
- 05Gilt weiter
OpenAI und Anthropic betreiben jeweils 3 getrennte Bots. Einen fürs Training und Indexieren, einen für die Suche, einen für Live-Nutzersitzungen. Einen zu blockieren blockiert die anderen nicht. Ihre robots.txt braucht für jeden eigene Direktiven.
Sechs Monate später Stand 20.07.26Eher Untergrenze als Obergrenze. OpenAI betreibt inzwischen mindestens vier, darunter einen Ads-Crawler mit eigener veröffentlichter IP-Bereichsliste. Drei pro Anbieter ist ein Minimum, keine Zählung.
- 06Überholt
OAI-SearchBot und Googlebot sind die einzigen Bots, die Bilder in Volumen abrufen. Wenn Ihre Artikelbilder echten Inhalt tragen (Charts, Diagramme, Datenvisualisierungen), sind das die Bots, die sie in Suchergebnissen verwenden.
Sechs Monate später Stand 20.07.26Sechs Bots holen inzwischen einen höheren Bildanteil als Googlebot. Die beiden hier genannten liegen auf Platz 7 und 10. Bildabrufe sind in der Crawler-Population verbreitet.
- 07Verschoben
ChatGPT-User extrahiert ausschließlich Text. Null Bilder, null CSS, null JS. Was in KI-Gespräche gezogen wird, ist Ihr HTML-Inhalt. Strukturierter, klarer Text zählt für KI-Sichtbarkeit mehr als visuelles Design.
Sechs Monate später Stand 20.07.26Nah dran, aber nicht mehr null: 1,9% Bilder gegenüber 95,3% Seiten. Der CSS- und JavaScript-Teil lässt sich nicht prüfen, weil die Log-Pipeline diese Dateien vor der Speicherung entfernt.
- 08Verschoben
KI-Crawler haben ihre Spitzen zu unterschiedlichen Stunden. GPTBot schlägt um 04:00 UTC zu. Claude-SearchBot hat seine Spitze nachts. PerplexityBot bricht um 23:00, 05:00 und 09:00 los. Wer Site-Änderungen außerhalb der US-Hauptzeit ausrollt, wird sie womöglich zuerst von KI-Bots gesehen sehen.
Sechs Monate später Stand 20.07.26Das Muster gilt weiter, und jede konkrete Stunde hat sich verschoben. GPTBot hat seine Spitze jetzt um 17:00 UTC und ist der zeitlich am stärksten konzentrierte Crawler, den wir gemessen haben: 21,4% seines gesamten Volumens fallen in diese eine Stunde.
- 09Verschoben
Meta ist nach Volumen der aggressivste KI-Crawler. Meta-WebIndexer hat in diesem Datensatz mehr Requests gesendet als jeder andere Bot, mit null robots.txt-Abrufen. Wer Metas Crawler nicht verfolgt, übersieht den größten Spieler.
Sechs Monate später Stand 20.07.26Diese Aussage war der Datenlage beim Schreiben voraus und holt sie gerade ein. Über die vollen sechs Monate liegt Meta auf Platz 12. Im Juli ist es der mit Abstand schwerste KI-Crawler der Property, nachdem es bis Mai völlig abwesend war.
- 10Überholt
Die Verbreitung von llms.txt ist noch theoretisch. Über 48 Tage hat kein einziger KI-Bot /llms.txt angefordert. Vielleicht wird daraus irgendwann ein Standard, aber derzeit sucht kein Crawler danach.
Sechs Monate später Stand 20.07.26Seitdem wird sie durchgehend abgerufen, aber ganz überwiegend von Scannern, Auditoren und Forschungsprobes statt von den führenden Laboren. CCBot, ClaudeBot und Googlebot rufen sie ab. GPTBot nicht.
- 11Verschoben
Applebot rendert Ihre Seiten vollständig. Er holt CSS, JS und Bilder (47% seines Traffics). Wenn Ihre Inhalte JavaScript-Rendering brauchen, um vollständig zu sein, sieht Applebot sie, die meisten KI-Bots aber nicht.
Sechs Monate später Stand 20.07.26Richtungsmäßig korrekt, heute deutlich niedriger: Bilder machen 27,6% des Applebot-Traffics aus, gegenüber 47% damals. Der CSS- und JavaScript-Teil ist hier aus demselben Pipeline-Grund wie bei Erkenntnis 9 oben nicht prüfbar.
- 12Gilt weiter
Technische Anleitungsinhalte werden in KI-Gesprächen am häufigsten zitiert. Die Top-Seiten bei ChatGPT-User waren durchweg Implementierungs-Guides und technische Erklärstücke. Tiefe, spezifische Inhalte verdienen sich KI-Zitate.
Sechs Monate später Stand 20.07.26Der robusteste Befund der ursprünglichen Liste. Alle zwölf Top-Ziele sind Implementierungs-Guides, Tool-Vergleiche oder technische Analysen. Nichts Generisches, nichts Werbliches. Ein einziger Migrations-Guide zog 34% des gesamten ChatGPT-User-Traffics im Netzwerk auf sich.
- 13Überholt
Bytespider und CCBot prüfen nur robots.txt und crawlen nie. Sie konsumieren Ihre robots.txt-Direktiven, ohne etwas daraus zu machen. Das kann sich ändern, aktuell erzeugen sie Compliance-Aufwand ohne jede Inhaltsindexierung.
Sechs Monate später Stand 20.07.26Seit unserer Messung umgekehrt. Bytespider ist jetzt der drittschwerste Crawler der Property, und 94% seiner 16.810 Requests sind Inhalte statt Compliance.
- 14Gilt weiter
KI-Crawl-Volumen kann über Nacht kippen. GPTBot ging in einer einzigen Woche von 0 auf 187 Requests. Ihre Crawl-Budget-Prognosen müssen mit plötzlichen Sprüngen rechnen, nicht mit allmählichem Wachstum.
Sechs Monate später Stand 20.07.26Bestätigt, mit einem klareren Beispiel als dem ursprünglich genannten. Meta ging in rund acht Wochen von null auf 2.615 Requests pro Monat.
- 15Überholt
IP-Analyse enthüllt die Bot-Identität. Das Verhältnis von IP zu Request nahe 1:1 bei ChatGPT-User belegt individuelle Nutzersitzungen. Die 2 IPs von GPTBot belegen zentralisierte Infrastruktur. IP-Muster helfen, echte nutzerausgelöste Abrufe von automatisiertem Crawling zu unterscheiden.
Sechs Monate später Stand 20.07.26Die Methode überlebt, jede Zahl darin hat sich bewegt. ChatGPT-User läuft jetzt mit 12.4 Requests pro IP über 1.588 Adressen. GPTBot nutzt 129 IPs, nicht 2. Der hier beschriebene Fingerabdruck nahe 1:1 gehört jetzt Claude-User bei 1.4.
- 16Gilt weiter
Koordinierte Crawl-Ereignisse gibt es über Botfamilien hinweg. GPTBot und OAI-SearchBot feuerten am 19. März gleichzeitig aus derselben Microsoft-Infrastruktur. Wenn ein OpenAI-Bot hochfährt, folgen die anderen.
Sechs Monate später Stand 20.07.26Unabhängig bestätigt, exakt am genannten Datum, einer von nur zwei Tagen in sechs Monaten, an denen beide Bots diese Schwellen gemeinsam überschritten.
- 17Überholt
Die Bots, von denen Sie nie gehört haben, sind längst da. PromptingBot, LinkupBot, Brightbot, Observer und andere crawlen aktiv Inhalte. Die KI-Bot-Landschaft ist größer, als die bekannten Namen vermuten lassen.
Sechs Monate später Stand 20.07.26Alle vier genannten Bots stellten in den neuen sechs Monaten null Requests. Der zugrunde liegende Punkt überlebt mit völlig anderer Besetzung: Der Long Tail wird jetzt von llms.txt-Scannern und KI-Readiness-Auditoren dominiert. Jede namentliche Liste hat eine Haltbarkeit von Monaten.
This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.
What Six Months of Logs Changed
Die ursprüngliche Studie lief 48 Tage auf einer einzigen Property. Diese erneute Prüfung umfasst 154.864 klassifizierte Requests über drei Properties zwischen dem 1. Februar und dem 13. Juli 2026, abgeglichen mit einer größeren Ecommerce-Property mit 7,26 Millionen Requests, die Bot-Identität per User-Agent gegen eine Referenztabelle mit 75 Mustern aufgelöst.
Die ursprüngliche 48-Tage-Studie deckte eine Site ab und sagte das auch. Diese erneute Prüfung umfasst drei von uns betriebene Properties, bezeichnet als Site A, Site B und Site C, plus eine größere Vergleichs-Property. Wir ordnen die Bezeichnungen keinen Domains zu, die Sechsmonatszahlen werden daher ohne Zuordnung ausgewiesen.
Elf der siebzehn erneut prüfbaren Erkenntnisse haben sich innerhalb von fünf Monaten bewegt, sechs durch neues Crawler-Verhalten überholt, fünf deutlich verschoben. Diese Rate ist der eigentliche Befund. Das Muster dahinter wiegt schwerer als jede einzelne Korrektur: die Verhaltensweisen blieben, die Zahlen bewegten sich. Bursts, koordinierte Anbieterereignisse, die Neigung zu technischen Inhalten, alles noch da. Jeder konkrete Botname, jedes Verhältnis und jede Spitzenstunde, die wir veröffentlicht haben, hat sich verändert.
Meta went from absent to first in eight weeks
Die größte einzelne Veränderung im Datensatz. meta-externalagent verzeichnete bis Mai überhaupt nichts, dann einen einzigen Request in jenem Monat, danach 553 im Juni und 2.615 in den ersten dreizehn Julitagen. Er ist jetzt der schwerste KI-Crawler der Property, und der Juli ist nur teilweise erfasst, die Zahl untertreibt also.
Über die vollen sechs Monate liegt Meta auf Platz zwölf. Im Juli auf Platz eins. Beides stimmt, und genau deshalb ist ein Ranking aus einem einzigen Fenster eine schlechte Grundlage für eine Crawl-Budget-Entscheidung. Außerdem stellte Meta über 3.169 Zugriffe null robots.txt-Requests.
The bot rankings churn, the behaviours do not
Vierzehn Bots mit genug Volumen, um sie Monat für Monat zu verfolgen. Achten Sie darauf, wie wenig die Form der Population sich von Februar bis Juli selbst ähnelt.
The IP fingerprint inverted
Die ursprüngliche Lesart nutzte Requests pro IP, um nutzerausgelöste Abrufe von zentralisiertem Crawling zu trennen. Die Methode funktioniert weiter. Jede Zahl darin hat sich bewegt.
Image fetching is now common
Zum Messzeitpunkt waren OAI-SearchBot und Googlebot die einzigen Bots, die Bilder in Volumen holten. Bildabrufe haben sich seither über die Crawler-Population verbreitet: Sechs Bots holen jetzt einen höheren Anteil als Googlebot, und die beiden ursprünglich genannten liegen auf Platz sieben und zehn.
llms.txt is measured, not consumed
Zum Messzeitpunkt hatte kein Bot jemals /llms.txt angefordert. Das hat sich vollständig geändert, allerdings nicht so, wie es sich die Befürworter des Standards wünschen würden. Die Datei wird durchgehend abgerufen, fast ausschließlich von Tools, die es gibt, um zu prüfen, ob Sie eine veröffentlichen.
Bekannte Crawler großer Anbieter, die beim Abruf beobachtet wurden: CCBot, ClaudeBot, Googlebot und GoogleOther. Auffällig abwesend: GPTBot.
Bytespider does not just check robots.txt
Diese Erkenntnis ist nicht abgedriftet, sie hat sich umgekehrt. Bytespider ist jetzt der drittschwerste Crawler der Property, und 94% seiner Requests sind Inhalte.
What Held Up
Sechs der ursprünglichen Erkenntnisse haben das längere Fenster unverändert überstanden, und es sind genau die, die Verhalten beschreiben statt einen Spitzenreiter zu benennen.
Technische Inhalte verdienen sich die Zitate. Der robusteste Befund der ursprünglichen Liste. Alle zwölf Top-Ziele von ChatGPT-User sind Implementierungs-Guides, Tool-Vergleiche oder technische Analysen. Nichts Generisches, nichts Werbliches. Ein einziger Migrations-Guide zog 6.716 Requests, 34% des gesamten ChatGPT-User-Traffics im Netzwerk.
GPTBot ignoriert robots.txt weiterhin. Zwei robots.txt-Requests gegenüber 6.872 Content-Requests. Meta stellte null über 3.169.
Die Bursts sind schlimmer geworden, nicht besser. Die Spitzenraten liegen jetzt weit über den ursprünglich berichteten 114 Requests pro Minute.
Anbieter betreiben weiterhin Botflotten, und wir haben sie zu niedrig angesetzt. OpenAI betreibt mindestens vier verschiedene Crawler, darunter einen Ads-Crawler mit eigener veröffentlichter IP-Bereichsliste. Anthropic betreibt ClaudeBot, Claude-User und Claude-SearchBot. Drei pro Anbieter war ein Minimum, keine Zählung.
Koordinierte Ereignisse sind real. Bestätigt exakt an dem im ursprünglichen Beitrag genannten Datum: Der 19. März zeigt GPTBot bei 206 Requests und OAI-SearchBot bei 114, einer von nur zwei Tagen in sechs Monaten, an denen beide diese Schwellen gemeinsam überschritten.
Bots haben ihre Spitzen weiterhin zu unterschiedlichen Stunden, und jede Stunde hat sich verschoben. GPTBot hat seine Spitze nicht mehr um 04:00 UTC. Sie liegt jetzt bei 17:00, und er ist der zeitlich am stärksten konzentrierte Crawler, den wir gemessen haben: 21,4% seines gesamten Sechsmonatsvolumens fallen in diese eine Stunde des Tages.
What We Could Not Test
Zwei scheinbare Befunde entpuppten sich als Artefakte der Logerfassung. Beide gehören genannt, denn jeder hätte eine selbstbewusste Schlagzeile ergeben, die die Daten nicht tragen.
robots.txt ist auf der Vergleichs-Property unsichtbar. Sie lieferte null robots.txt-Requests von irgendeinem Bot, was nach einem dramatischen Compliance-Befund aussieht und keiner ist. Diese Site liefert robots.txt am CDN-Edge aus, der Request erreicht die geloggte Ebene also nie. Alle robots.txt-Schlüsse hier stammen ausschließlich von der primären Property.
Die CSS- und JavaScript-Befunde lassen sich mit diesen Daten in keine Richtung prüfen. Der Log-Sanitizer entfernt .css, .js, Fonts und Source Maps vor der Speicherung. Die Erkenntnisse 9 und 13 sind nur über ihre Bildkomponenten prüfbar.
Zwei kleinere Einschränkungen. Der Datensatz umfasst drei verwandte Properties statt einer, und die am häufigsten zitierten Inhalte liegen auf einer einzelnen Site innerhalb dieses Netzwerks, was die Zitatbefunde konzentriert. Und der Juli ist ein teilweise erfasster Monat, bis zum 13., die Julizahlen untertreiben also: Meta erreicht Platz eins trotzdem.