Woche vom 3. August 2026
Wen wollen diese Bots eigentlich täuschen?
Das meiste, was über KI-Crawler geschrieben wird, stammt aus Anbieterankündigungen und nicht aus Logs. Diese Fragen stammen aus beidem: echten Edge-Logs eines mittelgroßen E-Commerce-Shops und der Crawler-Dokumentation, die die KI-Unternehmen selbst veröffentlichen. Beantworten Sie eine Frage, und der Beleg erscheint sofort.
- Fragen
- 10
- Minuten
- 6
-
1
Welcher Bot hat in der vergangenen Woche am häufigsten /sitemap.xml angefordert?
Bingbot von Microsoft
Bingbot hat sie Dutzende Male abgerufen. Die echten Crawler GPTBot, ClaudeBot, PerplexityBot und Gemini haben sie kein einziges Mal abgerufen, obwohl sie Tausende Anfragen an dieselbe Website gestellt haben. KI-Crawler entdecken Inhalte ganz überwiegend, indem sie Links folgen, nicht indem sie Sitemaps lesen. Eine Sitemap einzureichen ist ein Suchmaschinenritual; für die KI-Sichtbarkeit bringt es nach allem, was wir wissen, sehr wenig.
-
2
Was ist Google-Extended?
Ein robots.txt-Token, das steuert, ob gecrawlte Inhalte Gemini trainieren und dessen Antworten fundieren
Es stellt nie eine Anfrage. Google gibt an, dass Google-Extended keinen eigenen User-Agent besitzt. Das Crawling läuft also weiterhin über die normalen Google-Crawler, und das Token regelt nur, was anschließend mit den Inhalten geschieht: das Training künftiger Gemini-Modelle und die Fundierung von Antworten in Gemini Apps und Vertex AI. Google stellt außerdem ausdrücklich klar, dass es die Aufnahme einer Website in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist. Eine Sperrung kostet in der Suche also nichts und reduziert Ihren Crawl-Traffic um keinen einzigen Aufruf.
-
3
Womit lässt sich als Einzigem zuverlässig bestätigen, dass eine Anfrage wirklich von GPTBot stammt?
Mit Reverse DNS plus den vom Anbieter veröffentlichten IP-Bereichen
User-Agent-Strings sind Freitext. Jeder kann beliebige senden, und viele Scanner tun genau das.
-
4
Welche Aktivität von OpenAI erzeugt bei einem typischen Publisher die meisten Anfragen?
ChatGPT-User, der eine Seite abruft, weil ein Mensch danach gefragt hat
Nutzerinitiierte Abrufe übertrafen die Trainings-Crawls im Verhältnis von etwa sechs zu eins. Der größte Teil des KI-Bot-Traffics ist kein Training, sondern die Frage eines echten Menschen, die in Echtzeit beantwortet wird.
-
5
Ihre Logs zeigen als OpenAI gekennzeichneten Traffic von einer Google Cloud IP. Was ist die wahrscheinlichste Erklärung?
Ein gefälschter User-Agent
Genau das haben wir erwischt: Ein einzelner Scanner in einem einzigen Google Cloud Netzwerk schickte in 72 Stunden weit über tausend Anfragen, wechselte dabei zwischen User-Agents von OpenAI, Perplexity und Gemini und rief pro Pfad genau eine URL ab. Das ist Enumeration, kein Crawling. Der ausgehende Traffic echter OpenAI-Crawler stammt aus Azure.
-
6
Was beschreibt am besten, wie die großen KI-Unternehmen das Web crawlen?
Jedes Unternehmen betreibt mehrere unterschiedliche Bots mit verschiedenen Aufgaben
Die eigene Dokumentation von OpenAI führt vier auf: GPTBot für Trainingsdaten, ChatGPT-User für einen Live-Abruf, wenn ein Mensch fragt, OAI-SearchBot für die Suchergebnisse in ChatGPT und OAI-AdsBot zur Prüfung von Seiten, die als Anzeigen eingereicht wurden. Anthropic und die anderen folgen demselben Muster. OpenAI gibt an, dass jede Einstellung unabhängig ist, ein Publisher kann also OAI-SearchBot erlauben, um in der Suche aufzutauchen, und GPTBot gleichzeitig sperren. Damit ist "Soll ich KI-Bots erlauben?" keine einzelne Entscheidung, sondern vier.
-
7
Sie tragen User-agent: GPTBot mit Disallow: / in robots.txt ein. Was erreicht Ihre Website trotzdem weiterhin?
ChatGPT-User und OAI-SearchBot
Ein Token zu sperren sperrt einen Bot. OpenAI gibt an, dass jede Einstellung unabhängig ist, also machen der Such-Crawler, der Anzeigen-Crawler und der Live-Abruf für Nutzer einfach weiter. ChatGPT-User ist der heikle Fall: Weil diese Anfragen von einer Person und nicht von einem Crawl-Zeitplan ausgelöst werden, weist OpenAI darauf hin, dass robots.txt-Regeln für ihn möglicherweise gar nicht gelten. Die meisten "Wir haben KI blockiert"-Konfigurationen stoppen das Training und lassen genau die Bots völlig unberührt, die die für Nutzer sichtbaren Antworten liefern.
-
8
Ein großer Crawler hat news-sitemap.xml, sitemap.txt, sitemap.html und sitemap-index.xml angefordert, alle mit 404, auf einer Website, deren robots.txt die Sitemap korrekt angibt. Was zeigt das?
Manche Crawler raten Sitemap-Dateinamen per Brute Force, statt die Sitemap-Direktive zu lesen
Der Crawler von Meta macht genau das. Eine korrekte Sitemap-Zeile in robots.txt ist keine Garantie dafür, dass ein Crawler sie auch nutzt.
-
9
Ein Besucher stellt ChatGPT eine Frage, klickt zu Ihrer Website durch und kauft etwas. Warum weist Ihre Analytics ChatGPT möglicherweise nie als Quelle aus?
Viele KI-Clients senden keinen Referrer, deshalb wird der Besuch als Direktzugriff erfasst
Referrer-Daten von KI-Assistenten sind konstruktionsbedingt lückenhaft. Desktop- und Mobil-Apps übergeben häufig gar keinen Referer-Header, In-App-Browser verhalten sich uneinheitlich, und manche Clients senden nur die nackte Domain. Der Traffic landet zusammen mit Lesezeichen und direkt eingetippten URLs im Direktzugriff. Die Zahlen auf der Referral-Seite sind eine Untergrenze, keine Messung.
-
10
Wie verhält sich das Volumen der KI-Crawler in einer typischen Woche zum Volumen der klassischen Suchmaschinen-Crawler?
Die Suche ist immer noch rund 20 bis 25 Mal größer
Google und Bing zusammen stellten in 72 Stunden weit über hunderttausend Anfragen; alle verifizierten KI-Crawler zusammen ein paar tausend. KI-Crawling wächst und ist real, aber es hat das Such-Crawling nicht verdrängt, und Schlagzeilen, die etwas anderes behaupten, zählen meist gefälschte User-Agents mit.
