KI-Bot-Traffic beschleunigt rasant. 48 Tage Server-Logs zeigen, was GPTBot, ChatGPT, ClaudeBot und 16 weitere tun.
Published: March 20, 2026
KI-Bot-Traffic ist kein Rinnsal mehr
Zwischen Februar und Mitte März 2026 ist die KI-Bot-Aktivität auf wislr.com nicht nur gewachsen. Sie hat ihre Form verändert.
- ChatGPT-User-Traffic hat sich verfünffacht in sieben Wochen
- GPTBot, bis zum 12. März vollständig abwesend, führte 187 Anfragen in einer einzigen Woche aus, davon 152 in einem 3-Minuten-Burst
- GPTBot ist nicht neu. Es ist OpenAIs zentraler Trainings-Crawler, der seit Jahren im gesamten Web aktiv ist. Er scheint jedoch nicht jede Website kontinuierlich zu crawlen. Die Daten deuten darauf hin, dass er auf einer Website aktiviert wird, sobald deren Inhalte in OpenAIs Ökosystem an Bedeutung gewinnen. ChatGPT-User-Verweise auf wislr.com hatten sich bereits verfünffacht, bevor GPTBot jemals erschien.
- OAI-SearchBot-Volumen hat sich vervierfacht
- Am 18.-19. März begannen sowohl ClaudeBot als auch GPTBot erstmals, sitemap.xml anzufordern, am selben Tag, von verschiedenen Unternehmen
Das ist ein Wandel in der Art, wie KI-Plattformen Inhalte entdecken und indexieren.
20 Erkenntnisse für Ihre eigene Website
- Google Analytics kann nichts davon sehen. KI-Bots führen kein JavaScript aus. Wenn Sie sich auf clientseitige Analysen verlassen, ist Ihr KI-Bot-Traffic unsichtbar. Serverseitige Protokollierung ist der einzige Weg, ihn zu messen.
- Ihre sitemap.xml ist gerade wichtiger geworden. GPTBot und ClaudeBot begannen im März 2026 erstmals, Sitemaps zu konsumieren. Wenn Ihre Sitemap veraltet, unvollständig oder ohne Sprachvarianten ist, werden KI-Crawler Inhalte verpassen.
- robots.txt wird nicht universell respektiert. GPTBot und Meta-WebIndexer prüfen sie nie. Wenn Ihre KI-Content-Strategie auf robots.txt-Direktiven basiert, sollten Sie wissen, dass zwei der aktivsten Crawler sie komplett ignorieren.
- Mehrsprachige Inhalte erhalten unverhältnismäßig viel Crawl-Aufmerksamkeit. Bots wie Meta-WebIndexer (80%), GPTBot (62%) und Bingbot (60%) verwenden den Großteil ihres Budgets für Sprachvarianten. Wenn Sie übersetzte Inhalte veröffentlichen, indexieren KI-Plattformen diese aggressiv.
- ChatGPT-User-Traffic ist ein direktes Signal für Markennennung in KI-Gesprächen. Jede Anfrage repräsentiert eine echte Person, die Ihre URL in ChatGPT einfügt. Das ist messbare Mundpropaganda, und sie wächst schnell.
- KI-Bots crawlen in Schüben, nicht in gleichmäßigen Strömen. GPTBot erreichte 114 Anfragen/Min in einem 3-Minuten-Fenster. Wenn Ihr Server Burst-Traffic nicht bewältigen kann, werden KI-Crawler möglicherweise gedrosselt oder treffen auf Fehler während ihrer Indexierungsläufe.
- OpenAI und Anthropic betreiben jeweils 3 separate Bots. Einen für Training/Indexierung, einen für die Suche, einen für Live-Nutzersitzungen. Das Blockieren eines Bots blockiert nicht die anderen. Ihre robots.txt braucht separate Direktiven für jeden.
- OAI-SearchBot und Googlebot sind die einzigen Bots, die Bilder in großem Umfang abrufen. Wenn Ihre Artikelbilder aussagekräftige Inhalte enthalten (Diagramme, Grafiken, Datenvisualisierungen), sind dies die Bots, die sie in Suchergebnissen verwenden werden.
- ChatGPT-User extrahiert nur Text. Null Bilder, null CSS, null JS. Ihr HTML-Inhalt ist das, was in KI-Gespräche gezogen wird. Strukturierter, klarer Text ist für die KI-Sichtbarkeit wichtiger als visuelles Design.
- KI-Crawler haben ihre Spitzenzeiten zu verschiedenen Uhrzeiten. GPTBot schlägt um 04:00 UTC zu. Claude-SearchBot erreicht seinen Höhepunkt über Nacht. PerplexityBot hat Bursts um 23:00, 05:00 und 09:00. Wenn Sie Website-Änderungen außerhalb der US-Spitzenzeiten bereitstellen, sind KI-Bots möglicherweise die Ersten, die sie sehen.
- Meta ist der aggressivste KI-Crawler nach Volumen. Meta-WebIndexer hat mehr Anfragen gesendet als jeder andere Bot in diesem Datensatz, mit null robots.txt-Prüfungen. Wenn Sie Metas Crawler nicht verfolgen, übersehen Sie den größten Akteur.
- Die llms.txt-Adoption ist noch theoretisch. Null KI-Bots forderten /llms.txt über 48 Tage an. Es könnte irgendwann zum Standard werden, aber derzeit sucht kein Crawler danach.
- Applebot rendert Ihre Seiten vollständig. Er ruft CSS, JS und Bilder ab (47% seines Traffics). Wenn Ihr Inhalt JavaScript-Rendering benötigt, um vollständig zu sein, wird Applebot ihn sehen, aber die meisten KI-Bots nicht.
- ChatGPT-User-Traffic ist global verteilt. 15 Länder, 584 einzigartige IPs. Ihre Inhalte werden weltweit in KI-Gesprächen referenziert, nicht nur in den USA.
- Technische How-to-Inhalte werden in KI-Gesprächen am häufigsten referenziert. Die meistgenutzten ChatGPT-User-Seiten waren ausschließlich Implementierungsleitfäden und technische Erklärungen. Tiefgehende, spezifische Inhalte verdienen KI-Zitierungen.
- Bytespider und CCBot prüfen nur die robots.txt und crawlen nie. Sie konsumieren Ihre robots.txt-Direktiven, ohne ihnen zu folgen. Das kann sich ändern, aber derzeit erzeugen sie Compliance-Overhead ohne jegliche Inhaltsindexierung.
- KI-Crawl-Volumen kann sich über Nacht verschieben. GPTBot ging von 0 auf 187 Anfragen in einer einzigen Woche. Ihre Crawl-Budget-Prognosen müssen plötzliche Sprünge berücksichtigen, nicht allmähliches Wachstum.
- IP-Analyse offenbart Bot-Identität. Das nahezu 1:1-Verhältnis von IP zu Anfrage bei ChatGPT-User belegt individuelle Nutzersitzungen. Die 2 IPs von GPTBot belegen zentralisierte Infrastruktur. IP-Muster helfen dabei, echte nutzerausgelöste Abrufe von automatisiertem Crawling zu unterscheiden.
- Koordinierte Crawl-Ereignisse treten über Bot-Familien hinweg auf. GPTBot und OAI-SearchBot feuerten am 19. März gleichzeitig von derselben Microsoft-Infrastruktur. Wenn ein OpenAI-Bot hochfährt, erwarten Sie, dass die anderen folgen.
- Bots, von denen Sie noch nie gehört haben, besuchen bereits Ihre Website. PromptingBot, LinkupBot, Brightbot, Observer und andere crawlen aktiv Inhalte. Die KI-Bot-Landschaft ist größer, als die bekannten Namen vermuten lassen.
Die Daten
Quelle: 288.566 Log-Dateien aus CDN-Script-Request-Logging auf wislr.com
Zeitraum: 1. Februar bis 20. März 2026
Gesamtanfragen: 71.603
Analysierte KI-/Crawler-Bot-Anfragen: 12.099 (16,9% des gesamten Traffics)
Jede HTTP-Anfrage an wislr.com durchläuft ein CDN-Script, das vollständige Request-Metadaten erfasst (User Agent, Geo, Headers, Timing). Das liefert uns die exakte Grundwahrheit darüber, was KI-Bots tun, wie oft, und was sie lesen.
Wollen Sie diese Transparenz über Ihren eigenen KI-Bot-Traffic?
Gespräch vereinbarenBot-Volumen-Rangliste
| Rang | Bot | Gesamtzugriffe | Feb | Mär (teilweise) | Trend |
|---|---|---|---|---|---|
| 1 | Meta-WebIndexer | 1.833 | 707 | 1.126 | +59% |
| 2 | Bingbot | 1.221 | 547 | 674 | +23% |
| 3 | ChatGPT-User | 923 | 230 | 693 | +201% |
| 4 | Googlebot | 816 | 386 | 430 | +11% |
| 5 | Claude-SearchBot | 549 | 216 | 333 | +54% |
| 6 | Applebot | 495 | 257 | 238 | -7% |
| 7 | PerplexityBot | 456 | 244 | 212 | -13% |
| 8 | OAI-SearchBot | 330 | 117 | 213 | +82% |
| 9 | ClaudeBot | 206 | 69 | 137 | +99% |
| 10 | GPTBot* | 187 | 0 | 187 | Neu im März |
| 11 | Amazonbot | 71 | 27 | 44 | +63% |
| 12 | Bytespider | 68 | 33 | 35 | +6% |
| 13 | Claude-User | 18 | 6 | 12 | +100% |
| 14 | CCBot | 5 | 2 | 3 | Minimal |
| 15 | Meta-ExternalAgent | 4 | 0 | 4 | Neu |
| 16 | DuckAssistBot | 4 | 0 | 4 | Neu |
| 17 | Perplexity-User | 3 | 3 | 0 | Minimal |
| 18 | YouBot | 2 | 0 | 2 | Neu |
| 19 | GoogleOther | 2 | 1 | 1 | Minimal |
*GPTBot ist kein neuer Bot. Es ist OpenAIs zentraler Trainings-Crawler, der seit Jahren im gesamten Web aktiv ist. „Neu im März" bedeutet neu auf dieser Website. Die Daten deuten darauf hin, dass GPTBot auf einer Website aktiviert wird, sobald deren Inhalte in OpenAIs Ökosystem an Bedeutung gewinnen: ChatGPT-User-Verweise hatten sich bereits verfünffacht, bevor GPTBot jemals erschien.
Wöchentliche Volumen-Trends
| Bot | Feb W1 | Feb W2 | Feb W3 | Feb W4 | Mär W1 | Mär W2 | Mär W3 |
|---|---|---|---|---|---|---|---|
| GPTBot | 0 | 0 | 0 | 0 | 0 | 4 | 183 |
| ChatGPT-User | 39 | 66 | 65 | 60 | 72 | 304 | 317 |
| OAI-SearchBot | 28 | 34 | 29 | 26 | 28 | 46 | 139 |
| ClaudeBot | 10 | 14 | 9 | 36 | 51 | 24 | 62 |
| Claude-SearchBot | 31 | 51 | 47 | 87 | 121 | 68 | 144 |
| PerplexityBot | 22 | 132 | 62 | 28 | 37 | 77 | 98 |
| Bingbot | 132 | 163 | 136 | 116 | 151 | 248 | 275 |
| Meta-WebIndexer | 63 | 35 | 271 | 338 | 396 | 541 | 189 |
| Amazonbot | 8 | 6 | 7 | 6 | 2 | 2 | 40 |
Mär W3 (15.-20. März) war eine Ausbruchswoche. GPTBot explodierte von nahezu null auf 183 Anfragen. ChatGPT-User hielt 300+/Woche (5x seiner Februar-Basislinie). OAI-SearchBot erreichte 139, ein 4-facher Sprung. Etwas Koordiniertes passierte in OpenAIs Bot-Flotte.
Einzelne Bot-Profile
GPTBot (OpenAIs Trainings-/Indexierungs-Crawler)
Gesamt: 187 Anfragen | Aktiv seit: 12. März | IPs: 2 (stark konzentriert)
GPTBot ist kein neuer Bot. OpenAI definiert ihn als den Crawler, der verwendet wird, um „unsere generativen KI-Grundlagenmodelle nützlicher und sicherer zu machen", der Inhalte crawlt, die möglicherweise für das Training ihrer Grundlagenmodelle verwendet werden. Er ist seit Jahren im gesamten Web aktiv. Bemerkenswert ist, dass GPTBot bis zum 12. März vollständig von wislr.com abwesend war und dann am 19. März um 04:38 UTC mit einem massiven Crawl-Burst aktiviert wurde: 152 Anfragen in 3 Minuten (114 Anfragen/Min Spitze). Er crawlte systematisch jeden Artikel in jeder Sprachvariante.
Das deutet darauf hin, dass GPTBot nicht jede Website kontinuierlich crawlt. Er scheint auf einer Website aktiviert und hochgefahren zu werden, sobald deren Inhalte in OpenAIs Ökosystem an Bedeutung gewinnen, da ChatGPT-User-Verweise auf wislr.com sich bereits verfünffacht hatten, bevor GPTBot auftauchte.
Was er crawlt:
- Artikel: 67% der Anfragen
- Sprachvarianten: 61,5%, alle 11 Sprachversionen gecrawlt (de, fr, pl, hi, nl, uk, pt, ms, tr, it, es)
- Bilder: 28 Anfragen (Artikel-Header, Autorenfotos)
- Sitemap.xml: 2 Anfragen (begann am 19. März, völlig neues Verhalten)
- robots.txt: Null. Prüft sie nie.
Crawl-Timing: 81% aller Anfragen um 04:00 UTC. Extremes Burst-Muster, nahezu der gesamte Traffic in einem einzigen 3-Minuten-Fenster.
Infrastruktur: Läuft über Microsoft Limited ASN, nur USA. 97,9% des Traffics von einer einzigen IP.
GPTBots Burst am 19. März war gleichzeitig mit einem OAI-SearchBot-Burst von derselben Microsoft-Infrastruktur: 50 Anfragen/Min zum selben Zeitstempel. Das erscheint koordiniert.
OAI-SearchBot (OpenAIs Such-Crawler)
Gesamt: 330 Anfragen | Trend: +82% Feb zu Mär | IPs: 81
OAI-SearchBot ist OpenAIs dedizierter Such-Crawler, getrennt von GPTBot. Er ist der beharrlichste robots.txt-Prüfer aller KI-Bots und ruft sie 3-6 Mal jeden einzelnen Tag ohne Ausnahme ab.
Was er crawlt:
- robots.txt: 54,5% des gesamten Traffics (180 Zugriffe, 3,8/Tag Durchschnitt)
- Artikel: 52 Anfragen
- Bilder: 55 Anfragen, lädt aktiv Artikelbilder, Autorenfotos und Seiten-Screenshots herunter
- Homepage: 9 Anfragen
Crawl-Timing: Über den Tag verteilt mit leichten Spitzen um 04:00 und 20:00 UTC.
Infrastruktur: Microsoft Limited (87%) + Microsoft Corp (13%), nur USA.
Der einzige OpenAI-Bot, der die robots.txt respektiert (prüft sie obsessiv). Auch der einzige KI-Bot neben Googlebot, der aktiv Bilder in großem Umfang abruft, wahrscheinlich für Suchergebnis-Karten.
ChatGPT-User (Live-Nutzersitzungs-Abrufer)
Gesamt: 923 Anfragen | Trend: +201% Feb zu Mär | IPs: 584
Das ist kein Crawler. Er wird ausgelöst, wenn eine echte Person eine wislr.com-URL in eine ChatGPT-Konversation einfügt. Die 584 einzigartigen IPs (nahezu 1:1 mit Anfragen) bestätigen, dass es sich um individuelle Nutzersitzungen handelt. Das ist das klarste Signal dafür, wie oft wislr.com-Inhalte in KI-Gesprächen zitiert werden.
Am häufigsten referenzierte Inhalte:
| Zugriffe | Artikel |
|---|---|
| 225 | Shopify Same-Domain Checkout Analytics |
| 112 | Cloudflare Crawl Endpoint Pros and Cons |
| 103 | Cloudflare Crawl Best Settings |
| 91 | Cloudflare CDN Request Logging for Shopify |
| 81 | 6 Core Tasks for Better 301 Redirects |
| 50 | AI Performance Metrics: Seven KPIs |
| 37 | Homepage |
| 30 | Essential Tools for Site Migrations |
| 29 | OpenAI KPIs and Success Metrics 2026 |
| 23 | AEO Readiness Comparison |
Was er nicht abruft: Null Bilder, null CSS, null JS. Reine HTML-Inhalt-Extraktion, er will nur den Text.
Crawl-Timing: Gleichmäßig über alle 24 Stunden verteilt, folgt menschlichen Nutzungsmustern.
Geografische Verteilung: USA (50%), Polen (16%), Australien (5%), Spanien (5%), Japan (5%), Brasilien (4%), 15 Länder insgesamt. Top-Städte: Warschau (149), Phoenix (145), San Antonio (126), Des Moines (91).
ClaudeBot (Anthropics Trainings-/Indexierungs-Crawler)
Gesamt: 206 Anfragen | Trend: +99% Feb zu Mär | IPs: 22
ClaudeBot ist überwiegend auf Compliance-Prüfungen fokussiert: 85% seines Traffics ist robots.txt.
Was er crawlt:
- robots.txt: 175 Anfragen (85%), Anstieg von 1-2/Tag Anfang Februar auf 6-12/Tag im März
- Sitemap.xml: 14 Anfragen, begann am 18. März (nie zuvor angerührt)
- Bilder: 10 Anfragen (alle am 18. März)
- Inhaltsseiten: sehr wenige
ClaudeBot prüft die robots.txt im Zeitverlauf immer aggressiver. Sein plötzliches Interesse an sitemap.xml am 18. März (5 Zugriffe an diesem Tag, 8 am 19. März) deutet auf den Rollout einer neuen Crawl-Strategie von Anthropic hin.
Infrastruktur: Anthropic, PBC ASN (97%), nur USA.
Claude-SearchBot (Anthropics Websuch-Crawler)
Gesamt: 549 Anfragen | Trend: +54% Feb zu Mär | IPs: 8
Ein separater Anthropic-Bot, getrennt von ClaudeBot und Claude-User. Er betreibt Claudes Websuch-Funktion. Aggressiver als ClaudeBot, crawlt tatsächlich Inhalte.
Was er crawlt:
- robots.txt: 164 Anfragen (30%), täglich, Anstieg von 1-3 auf 7-10/Tag
- Sitemap.xml: 135 Anfragen, begann am 25. Februar, wurde schnell zum zweitaktivsten Sitemap-Konsumenten nach Bingbot
- Artikel: 142 Anfragen (26%)
- Sprachvarianten: 23,3% des Traffics
- Homepage: 45 Anfragen
Crawl-Timing: Nachtlastig, Spitzen um 22:00, 01:00, 00:00 UTC.
Zusammen betreibt Anthropic 3 verschiedene Bots (ClaudeBot, Claude-SearchBot, Claude-User) mit insgesamt 773 Anfragen, was Anthropic zur drittgrößten KI-Bot-Präsenz nach Meta-WebIndexer und ChatGPT-User macht.
Claude-User (Anthropics Live-Sitzungs-Abrufer)
Gesamt: 18 Anfragen | IPs: 8
Das Anthropic-Äquivalent zu ChatGPT-User. Wird ausgelöst, wenn jemand eine URL in einer Claude-Konversation teilt. Deutlich geringeres Volumen als ChatGPT-User (18 vs. 923).
Was er crawlt: robots.txt (9), dann Artikel über Cloudflare und eine Anwaltskanzlei-Fallstudie.
Infrastruktur: Google LLC ASN (100%), nur USA. Läuft über Google Cloud, nicht über Anthropics eigene Infrastruktur.
PerplexityBot (Perplexitys Indexierungs-Crawler)
Gesamt: 456 Anfragen | Trend: -13% Feb zu Mär | IPs: 13
Burst-artiges Crawl-Muster: 132 Anfragen in Feb W2, fällt auf 28 in Feb W4, steigt wieder auf 98 in Mär W3.
Was er crawlt:
- Artikel: 77% des Traffics, zielt stark auf KI-Performance-Metriken-Inhalte ab
- robots.txt: 71 Anfragen (konstant 1-4/Tag)
- Bilder: 18 Anfragen (artikelspezifische Bilder)
- Sitemap.xml: Null. Fordert sie nie an.
- Sprachvarianten: 52,9%, breite mehrsprachige Abdeckung
Crawl-Timing: Drei verschiedene Burst-Fenster um 23:00, 05:00 und 09:00 UTC.
Infrastruktur: Amazon Technologies Inc. (96%), nur USA. 13 IPs, mittlere Konzentration.
Googlebot
Gesamt: 816 Anfragen | IPs: 72
Homepage-lastig (27% des Traffics) und der Crawler mit dem umfassendsten Rendering. Ruft Bilder, CSS, JS zusammen mit Inhalten ab.
Was er crawlt:
- Homepage: 220 Anfragen (27%)
- Bilder: 152 Anfragen
- CSS: 132 Anfragen
- JS: 54 Anfragen
- Artikel: 141 Anfragen
- robots.txt: 68 Anfragen
- Sitemap.xml: 5 Anfragen (gelegentlich)
Sprachvarianten: Nur 10,4%, deutlich weniger mehrsprachig als andere Bots.
Infrastruktur: Google LLC (91%), teilweise aus Schweden (8%). Gleichmäßiges 24-Stunden-Crawl-Muster.
Bingbot
Gesamt: 1.221 Anfragen | Trend: +23% Feb zu Mär | IPs: 258
Der konsistenteste und breiteste Crawler. Auch der dominante Sitemap-Konsument.
Was er crawlt:
- Artikel: 68% (mit starker Sprachvarianten-Abdeckung)
- Sitemap.xml: 139 Anfragen (2-8/Tag, jeden Tag), mit Abstand der aktivste Sitemap-Crawler
- Bilder: 78 Anfragen (Social Icons, Dashboard-PNGs, Artikelbilder)
- robots.txt: 36 Anfragen
Sprachvarianten: 60,3%, starker Fokus auf niederländische (97) und deutsche (98) Varianten.
Crawl-Timing: Gleichmäßige 24-Stunden-Abdeckung, immer aktiv.
Meta-WebIndexer
Gesamt: 1.833 Anfragen | Trend: +59% Feb zu Mär | IPs: 156
Der Bot mit dem höchsten Gesamtvolumen. Überwiegend auf Inhalte fokussiert, insbesondere Sprachvarianten.
Was er crawlt:
- Artikel: 88% des Traffics
- Sprachvarianten: 79,8%, mit Abstand der aggressivste mehrsprachige Crawler
- Sitemap.xml: 30 Anfragen
- robots.txt: Null. Prüft die robots.txt überhaupt nicht.
Crawl-Timing: Abend-/Nachtlastig, Spitzen um 20:00-21:00 und 00:00-01:00 UTC.
Infrastruktur: Meta Platforms Ireland Ltd ASN, nur USA.
Wie GPTBot prüft Meta-WebIndexer die robots.txt nicht. Anders als GPTBot war er während des gesamten Zeitraums konstant aktiv.
Verhaltensmuster
robots.txt-Compliance
| Verhalten | Bots |
|---|---|
| Obsessive Prüfer (mehrmals täglich) | OAI-SearchBot (3,8/Tag), ClaudeBot (4/Tag), Claude-SearchBot (4/Tag) |
| Regelmäßige Prüfer (täglich oder nahezu täglich) | PerplexityBot, Googlebot, Applebot, Amazonbot, FacebookExternalHit (exakt 1/Tag wie ein Uhrwerk) |
| Prüft nur robots.txt, sonst nichts | Bytespider (100%), CCBot (100%) |
| Prüft robots.txt nie | GPTBot, Meta-WebIndexer, ChatGPT-User |
GPTBot und Meta-WebIndexer sind die auffälligsten nicht-konformen Bots. Sie crawlen aggressiv, ohne jemals die Regeln zu prüfen.
Sitemap-Erkennung
| Bot | Sitemap-Zugriffe | Erste Anfrage | Muster |
|---|---|---|---|
| Bingbot | 139 | 1. Feb | Täglich, 2-8/Tag (der Sitemap-König) |
| Claude-SearchBot | 135 | 25. Feb | Intensiv, wurde zum zweitaktivsten |
| Meta-WebIndexer | 30 | 5. Feb | Regelmäßig |
| ClaudeBot | 14 | 18. Mär | Völlig neues Verhalten |
| Googlebot | 5 | 2. Feb | Gelegentlich |
| GPTBot | 2 | 19. Mär | Völlig neues Verhalten |
| Applebot | 1 | 17. Mär | Einzelzugriff |
Der 18.-19. März markiert einen Wendepunkt. Sowohl ClaudeBot als auch GPTBot begannen erstmals, sitemap.xml anzufordern, was auf gleichzeitige Rollouts neuer Crawl-Strategien von Anthropic und OpenAI hindeutet.
llms.txt / KI-spezifische Dateianfragen
Kein KI-Bot fordert /llms.txt oder /llm.txt an. Null Zugriffe von GPTBot, ClaudeBot, PerplexityBot oder einem anderen KI-Crawler.
Der einzige Bot, der nach llms.txt sucht, ist Dataprovider.com (ein Webanalyse-Unternehmen): 3 Anfragen über Feb-Mär.
Zwei Anfragen für /.well-known/ai-plugin.json kamen von Firefox-Browsern, nicht von Bots.
Crawling von Sprachvarianten
| Bot | % des Traffics in Sprachvarianten | Abdeckung |
|---|---|---|
| Meta-WebIndexer | 79,8% | Alle 11 Sprachen, gleichmäßig verteilt |
| GPTBot | 61,5% | Alle 11 Sprachen, 8-12 je Sprache |
| Bingbot | 60,3% | Alle 11, stark Niederländisch/Deutsch |
| PerplexityBot | 52,9% | Alle 11, Deutsch/Spanisch vorne |
| Amazonbot | 32,4% | Alle 11 |
| Claude-SearchBot | 23,3% | Alle 11, relativ gleichmäßig |
| Applebot | 23,0% | Alle 11 |
| OAI-SearchBot | 11,2% | Alle 11 |
| Googlebot | 10,4% | Spanisch/Portugiesisch vorne |
| ChatGPT-User | 4,7% | Französisch/Spanisch/Italienisch (nutzergesteuert) |
Meta-WebIndexer und GPTBot sind die aggressivsten mehrsprachigen Crawler. Der niedrige Prozentsatz von ChatGPT-User ist nachvollziehbar: Er spiegelt wider, in welchen Sprachen echte Nutzer lesen.
Bild-Crawling
| Bot | Bild-Anfragen | Was sie abrufen |
|---|---|---|
| Googlebot | 152 | SVG-Icons, Logos, Favicons, Rendering-Assets |
| Google-InspectionTool | 108 | Social Icons, Fallstudien-Bilder |
| Googlebot-Image | 75 | Favicon, Logo-Varianten, Artikelbilder |
| Bingbot | 78 | Social Icons, Dashboard-PNGs, Artikelbilder |
| OAI-SearchBot | 55 | Artikelbilder, Autorenfotos, Screenshots |
| Applebot | 32 | Artikel-Coverbilder |
| GPTBot | 28 | Artikel-Header, Autorenfotos (alle am 19. Mär) |
| PerplexityBot | 18 | Artikelbilder |
| ClaudeBot | 10 | Autoren-Foto, Screenshots (alle am 18. Mär) |
| ChatGPT-User | 0 | Ruft nie Bilder ab |
Googlebot ruft Bilder für das Rendering ab. OAI-SearchBot ruft sie wahrscheinlich für Suchergebnis-Karten ab. GPTBot und ClaudeBot hatten beide konzentrierte Bild-Bursts an jeweils einem einzigen Tag, was auf Batch-Indexierungsläufe hindeutet.
ChatGPT-User ruft null Bilder ab. Reine Text-Extraktion.
Weitere bemerkenswerte entdeckte Bots
PromptingBot/1.0.0 (104 Anfragen)
- Läuft auf Google-Cloud-Infrastruktur
- Aktiv vom 24. Februar bis 13. März
- Führt vollständiges Seiten-Rendering durch (ruft CSS, JS, Bilder, Social Icons ab)
- Zielt auf KI-Performance-Metriken-Inhalte ab
LinkupBot/1.0 (47 Anfragen)
- Von linkup.so, einem Web-Indexierungsdienst
- Microsoft-Infrastruktur, Herkunft: Frankreich
- Prüft robots.txt, fokussiert sich dann auf Migrations-/Redirect-Inhalte
Brightbot 1.0 (46 Anfragen)
- Von truview LLC, 41 einzigartige IPs
- Fokussiert auf niederländische Sprachvarianten
Observer/1.0 (36 Anfragen)
- Von obsrvr.net, deutsche/finnische Infrastruktur
- Crawlt nur robots.txt und einen einzelnen französischen Artikel
Dataprovider.com (148 Anfragen)
- Kanadisches Webanalyse-Unternehmen
- Der einzige Bot, der nach /llms.txt sucht (3 Mal)
- Prüft auch /ads.txt und /humans.txt
HTTP-Methoden
Jeder einzelne Bot verwendet ausschließlich GET. Null HEAD-, POST- oder andere Methoden über alle 12.099 Bot-Anfragen.
Länder-/ASN-Daten
| Bot | Primäres ASN | Länder |
|---|---|---|
| GPTBot | Microsoft Limited | Nur USA |
| OAI-SearchBot | Microsoft Limited (87%) + Microsoft Corp (13%) | Nur USA |
| ChatGPT-User | Microsoft Corporation (78%) | USA (50%), Polen (16%), Australien (5%), Spanien (5%), Japan (5%), Brasilien (4%), 15 Länder |
| ClaudeBot | Anthropic, PBC (97%) | Nur USA |
| Claude-SearchBot | Anthropic, PBC (100%) | Nur USA |
| Claude-User | Google LLC (100%) | Nur USA |
| PerplexityBot | Amazon Technologies Inc. (96%) | Nur USA |
| Amazonbot | Amazon (100%) | Nur USA |
| Applebot | Apple Inc. (100%) | Nur USA |
| Bingbot | Microsoft Corporation (99,7%) | Nur USA |
| Googlebot | Google LLC (91%) | USA (92%), Schweden (8%) |
| Meta-WebIndexer | Meta Platforms Ireland Ltd (100%) | Nur USA |
| Bytespider | Amazon Singapore (53%), China Unicom (47%) | Singapur (53%), China (47%) |
Alle großen KI-Bots laufen von US-Infrastruktur, außer Bytespider (Singapur/China). ChatGPT-User ist der einzige Bot mit echter globaler Verteilung, was seine menschliche Nutzerbasis widerspiegelt.
Häufig gestellte Fragen
Welche KI-Bots besuchen Websites im Jahr 2026 am häufigsten?
Basierend auf 48 Tagen Server-Log-Daten von wislr.com sind die KI-Bots mit dem höchsten Volumen Meta-WebIndexer (1.833 Anfragen), ChatGPT-User (923 Anfragen), Claude-SearchBot (549 Anfragen), Applebot (495 Anfragen), PerplexityBot (456 Anfragen), OAI-SearchBot (330 Anfragen), ClaudeBot (206 Anfragen) und GPTBot (187 Anfragen). ChatGPT-User zeigte das stärkste Wachstum mit +201% zwischen Februar und März 2026.
Prüfen KI-Bots die robots.txt vor dem Crawling?
Das variiert stark. OAI-SearchBot prüft die robots.txt 3-6 Mal pro Tag ohne Ausnahme. ClaudeBot und Claude-SearchBot prüfen sie durchschnittlich 4 Mal pro Tag. Bytespider und CCBot prüfen nur die robots.txt und crawlen niemals tatsächliche Inhalte. GPTBot und Meta-WebIndexer prüfen die robots.txt jedoch nie, obwohl sie zu den aktivsten Crawlern gehören. ChatGPT-User prüft die robots.txt ebenfalls nie.
Fordert irgendein KI-Bot llms.txt an?
Nein. Bei 12.099 Bot-Anfragen über 48 Tage haben null KI-Bots /llms.txt oder /llm.txt angefordert. Der einzige Bot, der nach llms.txt suchte, war Dataprovider.com, ein Webanalyse-Unternehmen, keine KI-Plattform. Trotz wachsender Diskussion um llms.txt als Standard sucht derzeit kein KI-Crawler danach.
Was ist der Unterschied zwischen GPTBot und ChatGPT-User?
GPTBot ist OpenAIs Trainings- und Indexierungs-Crawler, der systematisch Seiten, Sprachvarianten und Bilder in konzentrierten Schüben crawlt, oft ohne die robots.txt zu prüfen. ChatGPT-User wird ausgelöst, wenn eine echte Person eine URL in eine ChatGPT-Konversation einfügt. ChatGPT-User hatte 584 einzigartige IPs für 923 Anfragen (nahezu 1:1), was individuelle Nutzersitzungen bestätigt. ChatGPT-User ruft nur HTML-Text ab, niemals Bilder, CSS oder JS. GPTBot ruft alle Asset-Typen ab.
Wie kann man KI-Bot-Traffic auf der eigenen Website erkennen?
KI-Bot-Traffic ist für clientseitige Analysetools wie Google Analytics unsichtbar, da Bots kein JavaScript ausführen. Sie benötigen serverseitige Anfragen-Protokollierung, die die rohen HTTP-Anfragen an Ihre Domain erfasst, einschließlich des User-Agent-Headers, der Bots wie GPTBot, ChatGPT-User, ClaudeBot und andere identifiziert. Das WISLR AI Visibility Dashboard bietet diese Transparenz standardmäßig.
Welche KI-Bots crawlen mehrsprachige Inhalte am aggressivsten?
Meta-WebIndexer verwendet 79,8% seines Crawl-Budgets für Sprachvarianten und ist damit der aggressivste mehrsprachige Crawler. GPTBot folgt mit 61,5% und crawlt alle 11 Sprachversionen von Artikeln. Bingbot (60,3%) und PerplexityBot (52,9%) zielen ebenfalls stark auf mehrsprachige Inhalte ab. Googlebot ist mit nur 10,4% deutlich weniger mehrsprachig. Die niedrige Rate von 4,7% bei ChatGPT-User spiegelt wider, dass es von menschlichen Nutzern gesteuert wird, nicht von automatisiertem Crawling.