← All Articles

AI बॉट ट्रैफ़िक तेज़ी से बढ़ रहा है। 48 दिनों के सर्वर लॉग्स से GPTBot, ChatGPT, ClaudeBot और 16 अन्य बॉट्स की गतिविधि उजागर।

Tony Castillo

Tony Castillo

Published: March 20, 2026

48 दिनों के सर्वर लॉग्स से AI बॉट ट्रैफ़िक विश्लेषण जिसमें GPTBot, ChatGPT-User, ClaudeBot और 16 अन्य बॉट्स शामिल हैं
Available in: English | Deutsch | Español | Français | Italiano | Bahasa Melayu | Nederlands | Polski | Português | Türkçe | Українська

AI बॉट ट्रैफ़िक अब बूंद-बूंद नहीं रहा

फरवरी से मध्य मार्च 2026 के बीच, wislr.com पर AI बॉट गतिविधि सिर्फ बढ़ी नहीं। इसका स्वरूप बदल गया।

  • ChatGPT-User ट्रैफ़िक सात हफ्तों में 5 गुना बढ़ा
  • GPTBot, 12 मार्च तक पूरी तरह अनुपस्थित, ने एक ही सप्ताह में 187 अनुरोध किए, जिनमें से 152 एक 3 मिनट के बर्स्ट में
    • GPTBot नया बॉट नहीं है। यह OpenAI का मुख्य प्रशिक्षण क्रॉलर है, जो वर्षों से पूरे वेब पर सक्रिय है। लेकिन यह हर साइट को लगातार क्रॉल नहीं करता। डेटा बताता है कि यह किसी साइट पर तब सक्रिय होता है जब उस साइट की सामग्री OpenAI के इकोसिस्टम में लोकप्रिय होती है। GPTBot के प्रकट होने से पहले ही wislr.com पर ChatGPT-User रेफरल 5 गुना बढ़ चुके थे।
  • OAI-SearchBot वॉल्यूम 4 गुना बढ़ा
  • 18-19 मार्च को, ClaudeBot और GPTBot दोनों ने पहली बार sitemap.xml का अनुरोध किया, एक ही दिन, अलग-अलग कंपनियों से

यह AI प्लेटफॉर्म द्वारा सामग्री की खोज और इंडेक्सिंग के तरीके में बदलाव है।

आपकी वेबसाइट के लिए 20 निष्कर्ष

  1. Google Analytics इसमें से कुछ भी नहीं देख सकता। AI बॉट्स JavaScript निष्पादित नहीं करते। यदि आप क्लाइंट-साइड एनालिटिक्स पर निर्भर हैं, तो आपका AI बॉट ट्रैफ़िक अदृश्य है। सर्वर-साइड लॉगिंग इसे मापने का एकमात्र तरीका है।
  2. आपकी sitemap.xml अब और महत्वपूर्ण हो गई है। GPTBot और ClaudeBot दोनों ने मार्च 2026 में पहली बार साइटमैप का उपयोग शुरू किया। यदि आपकी साइटमैप पुरानी, अधूरी या भाषा वेरिएंट गायब हैं, तो AI क्रॉलर सामग्री को मिस करेंगे।
  3. robots.txt का सार्वभौमिक सम्मान नहीं होता। GPTBot और Meta-WebIndexer कभी इसे जांचते नहीं। यदि आपकी AI सामग्री रणनीति robots.txt निर्देशों पर निर्भर है, तो जान लें कि दो सबसे सक्रिय क्रॉलर इन्हें पूरी तरह अनदेखा करते हैं।
  4. बहुभाषी सामग्री को असमान रूप से अधिक क्रॉल ध्यान मिलता है। Meta-WebIndexer (80%), GPTBot (62%), और Bingbot (60%) जैसे बॉट अपने बजट का अधिकांश भाग भाषा वेरिएंट पर खर्च करते हैं। यदि आप अनुवादित सामग्री प्रकाशित करते हैं, तो AI प्लेटफॉर्म इसे आक्रामक रूप से इंडेक्स कर रहे हैं।
  5. ChatGPT-User ट्रैफ़िक AI वार्तालापों में ब्रांड उद्धरण का प्रत्यक्ष संकेत है। प्रत्येक अनुरोध एक वास्तविक व्यक्ति द्वारा ChatGPT में आपका URL पेस्ट करने को दर्शाता है। यह मापने योग्य मौखिक प्रचार है, और यह तेज़ी से बढ़ रहा है।
  6. AI बॉट्स बर्स्ट में क्रॉल करते हैं, स्थिर धाराओं में नहीं। GPTBot ने 3 मिनट की विंडो में 114 req/min तक पहुंचा। यदि आपका सर्वर बर्स्ट ट्रैफ़िक संभाल नहीं सकता, तो AI क्रॉलर उनके इंडेक्सिंग रन के दौरान थ्रॉटल या एरर हो सकते हैं।
  7. OpenAI और Anthropic प्रत्येक 3 अलग-अलग बॉट्स संचालित करते हैं। एक प्रशिक्षण/इंडेक्सिंग के लिए, एक सर्च के लिए, एक लाइव उपयोगकर्ता सत्रों के लिए। एक को ब्लॉक करने से दूसरे ब्लॉक नहीं होते। आपके robots.txt को प्रत्येक के लिए अलग निर्देशों की आवश्यकता है।
  8. OAI-SearchBot और Googlebot एकमात्र बॉट्स हैं जो वॉल्यूम में इमेज लाते हैं। यदि आपके लेख की इमेज में सार्थक सामग्री है (चार्ट, डायग्राम, डेटा विज़ुअलाइज़ेशन), तो ये वे बॉट्स हैं जो इन्हें सर्च परिणामों में उपयोग करेंगे।
  9. ChatGPT-User केवल टेक्स्ट निकालता है। शून्य इमेज, शून्य CSS, शून्य JS। आपकी HTML सामग्री वह है जो AI वार्तालापों में खींची जाती है। AI दृश्यता के लिए संरचित, स्पष्ट टेक्स्ट विज़ुअल डिज़ाइन से अधिक महत्वपूर्ण है।
  10. AI क्रॉलर अलग-अलग समय पर पीक करते हैं। GPTBot 04:00 UTC पर आता है। Claude-SearchBot रात भर पीक करता है। PerplexityBot 23:00, 05:00 और 09:00 पर बर्स्ट करता है। यदि आप ऑफ-पीक US घंटों में साइट परिवर्तन लागू करते हैं, तो AI बॉट्स उन्हें सबसे पहले देख सकते हैं।
  11. Meta वॉल्यूम के हिसाब से सबसे आक्रामक AI क्रॉलर है। Meta-WebIndexer ने इस डेटासेट में किसी भी अन्य बॉट से अधिक अनुरोध भेजे, बिना किसी robots.txt जांच के। यदि आप Meta के क्रॉलर्स को ट्रैक नहीं कर रहे, तो आप सबसे बड़े खिलाड़ी को मिस कर रहे हैं।
  12. llms.txt अपनाना अभी भी सैद्धांतिक है। 48 दिनों में शून्य AI बॉट्स ने /llms.txt का अनुरोध किया। यह अंततः एक मानक बन सकता है, लेकिन वर्तमान में कोई क्रॉलर इसे नहीं खोजता।
  13. Applebot आपके पेज को पूरी तरह रेंडर करता है। यह CSS, JS और इमेज लाता है (इसके ट्रैफ़िक का 47%)। यदि आपकी सामग्री को पूर्ण होने के लिए JavaScript रेंडरिंग की आवश्यकता है, तो Applebot इसे देखेगा, लेकिन अधिकांश AI बॉट्स नहीं देखेंगे।
  14. ChatGPT-User ट्रैफ़िक वैश्विक रूप से वितरित है। 15 देश, 584 अद्वितीय IPs। आपकी सामग्री दुनिया भर में AI वार्तालापों में संदर्भित हो रही है, केवल US में नहीं।
  15. तकनीकी, how-to सामग्री AI वार्तालापों में सबसे अधिक संदर्भित होती है। शीर्ष ChatGPT-User पेज सभी कार्यान्वयन गाइड और तकनीकी व्याख्या थे। गहरी, विशिष्ट सामग्री AI उद्धरण अर्जित करती है।
  16. Bytespider और CCBot केवल robots.txt जांचते हैं और कभी क्रॉल नहीं करते। वे बिना आगे बढ़े आपके robots.txt निर्देशों का उपभोग कर रहे हैं। यह बदल सकता है, लेकिन वर्तमान में वे शून्य सामग्री इंडेक्सिंग के साथ अनुपालन ओवरहेड उत्पन्न करते हैं।
  17. AI क्रॉल वॉल्यूम रातोंरात बदल सकता है। GPTBot एक ही सप्ताह में 0 से 187 अनुरोधों तक पहुंचा। आपके क्रॉल बजट अनुमानों को क्रमिक वृद्धि के बजाय अचानक स्टेप-चेंज के लिए तैयार रहना चाहिए।
  18. IP विश्लेषण बॉट की पहचान प्रकट करता है। ChatGPT-User का लगभग 1:1 IP-से-अनुरोध अनुपात व्यक्तिगत उपयोगकर्ता सत्रों को प्रमाणित करता है। GPTBot के 2 IPs केंद्रीकृत इन्फ्रास्ट्रक्चर प्रमाणित करते हैं। IP पैटर्न वास्तविक उपयोगकर्ता-ट्रिगर फ़ेच को स्वचालित क्रॉलिंग से अलग करने में मदद करते हैं।
  19. बॉट परिवारों में समन्वित क्रॉल इवेंट होते हैं। GPTBot और OAI-SearchBot ने 19 मार्च को एक ही Microsoft इन्फ्रास्ट्रक्चर से एक साथ फायर किया। जब एक OpenAI बॉट बढ़ता है, तो बाकी के भी अनुसरण की अपेक्षा करें।
  20. जिन बॉट्स के बारे में आपने कभी नहीं सुना, वे पहले से विज़िट कर रहे हैं। PromptingBot, LinkupBot, Brightbot, Observer और अन्य सक्रिय रूप से सामग्री क्रॉल कर रहे हैं। AI बॉट परिदृश्य प्रसिद्ध नामों से कहीं बड़ा है।

डेटा

स्रोत: wislr.com पर CDN स्क्रिप्ट रिक्वेस्ट लॉगिंग से 288,566 लॉग फाइलें
अवधि: 1 फरवरी से 20 मार्च, 2026
कुल अनुरोध: 71,603
विश्लेषित AI/क्रॉलर बॉट अनुरोध: 12,099 (कुल ट्रैफ़िक का 16.9%)

wislr.com पर प्रत्येक HTTP अनुरोध एक CDN स्क्रिप्ट से गुज़रता है जो पूर्ण रिक्वेस्ट मेटाडेटा (user agent, geo, headers, timing) कैप्चर करता है। यह हमें इस बारे में सटीक जानकारी देता है कि AI बॉट्स क्या कर रहे हैं, कितनी बार और क्या पढ़ रहे हैं।

अपने AI बॉट ट्रैफ़िक में इस स्तर की दृश्यता चाहते हैं?

चैट शेड्यूल करें

बॉट वॉल्यूम रैंकिंग

रैंक बॉट कुल हिट्स फरवरी मार्च (आंशिक) रुझान
1 Meta-WebIndexer 1,833 707 1,126 +59%
2 Bingbot 1,221 547 674 +23%
3 ChatGPT-User 923 230 693 +201%
4 Googlebot 816 386 430 +11%
5 Claude-SearchBot 549 216 333 +54%
6 Applebot 495 257 238 -7%
7 PerplexityBot 456 244 212 -13%
8 OAI-SearchBot 330 117 213 +82%
9 ClaudeBot 206 69 137 +99%
10 GPTBot* 187 0 187 मार्च में नया
11 Amazonbot 71 27 44 +63%
12 Bytespider 68 33 35 +6%
13 Claude-User 18 6 12 +100%
14 CCBot 5 2 3 न्यूनतम
15 Meta-ExternalAgent 4 0 4 नया
16 DuckAssistBot 4 0 4 नया
17 Perplexity-User 3 3 0 न्यूनतम
18 YouBot 2 0 2 नया
19 GoogleOther 2 1 1 न्यूनतम

*GPTBot कोई नया बॉट नहीं है। यह OpenAI का मुख्य प्रशिक्षण क्रॉलर है, जो वर्षों से पूरे वेब पर सक्रिय है। “मार्च में नया” का अर्थ है इस साइट पर नया। डेटा बताता है कि GPTBot किसी साइट पर तब सक्रिय होता है जब उसकी सामग्री OpenAI के इकोसिस्टम में लोकप्रिय होती है: GPTBot के प्रकट होने से पहले ही ChatGPT-User रेफरल 5 गुना बढ़ चुके थे।

साप्ताहिक वॉल्यूम रुझान

बॉट फरवरी W1 फरवरी W2 फरवरी W3 फरवरी W4 मार्च W1 मार्च W2 मार्च W3
GPTBot 0 0 0 0 0 4 183
ChatGPT-User 39 66 65 60 72 304 317
OAI-SearchBot 28 34 29 26 28 46 139
ClaudeBot 10 14 9 36 51 24 62
Claude-SearchBot 31 51 47 87 121 68 144
PerplexityBot 22 132 62 28 37 77 98
Bingbot 132 163 136 116 151 248 275
Meta-WebIndexer 63 35 271 338 396 541 189
Amazonbot 8 6 7 6 2 2 40

मार्च W3 (15-20 मार्च) एक ब्रेकआउट सप्ताह था। GPTBot लगभग शून्य से 183 अनुरोधों तक पहुंचा। ChatGPT-User ने 300+/सप्ताह बनाए रखा (अपने फरवरी बेसलाइन का 5 गुना)। OAI-SearchBot 139 पर पहुंचा, 4 गुना उछाल। OpenAI के बॉट फ्लीट में कुछ समन्वित हुआ।

व्यक्तिगत बॉट प्रोफाइल

GPTBot (OpenAI का प्रशिक्षण/इंडेक्सिंग क्रॉलर)

कुल: 187 अनुरोध | सक्रिय: 12 मार्च से | IPs: 2 (अत्यधिक केंद्रित)

GPTBot कोई नया बॉट नहीं है। OpenAI इसे उस क्रॉलर के रूप में परिभाषित करता है जो “हमारे जनरेटिव AI फाउंडेशन मॉडल को अधिक उपयोगी और सुरक्षित बनाने” के लिए उपयोग किया जाता है, जो उनके फाउंडेशन मॉडल के प्रशिक्षण में उपयोग की जा सकने वाली सामग्री को क्रॉल करता है। यह वर्षों से पूरे वेब पर सक्रिय है। यहां उल्लेखनीय बात यह है कि GPTBot 12 मार्च तक wislr.com पर पूरी तरह अनुपस्थित था, फिर 19 मार्च को 04:38 UTC पर एक विशाल क्रॉल बर्स्ट के साथ सक्रिय हुआ: 3 मिनट में 152 अनुरोध (114 req/min पीक)। इसने व्यवस्थित रूप से हर भाषा वेरिएंट में हर लेख को क्रॉल किया।

यह बताता है कि GPTBot हर साइट को लगातार क्रॉल नहीं करता। यह किसी साइट पर तब सक्रिय और तेज़ होता प्रतीत होता है जब उस साइट की सामग्री OpenAI के इकोसिस्टम में लोकप्रिय होती है, क्योंकि GPTBot के प्रकट होने से पहले ही wislr.com पर ChatGPT-User रेफरल 5 गुना बढ़ चुके थे।

यह क्या क्रॉल करता है:

  • लेख: 67% अनुरोध
  • भाषा वेरिएंट: 61.5%, सभी 11 भाषा संस्करण क्रॉल किए (de, fr, pl, hi, nl, uk, pt, ms, tr, it, es)
  • इमेज: 28 अनुरोध (लेख हेडर, लेखक फोटो)
  • Sitemap.xml: 2 अनुरोध (19 मार्च से शुरू, बिल्कुल नया व्यवहार)
  • robots.txt: शून्य। कभी जांचता नहीं।

क्रॉल समय: सभी अनुरोधों का 81% 04:00 UTC पर। अत्यधिक बर्स्ट पैटर्न, लगभग सारा ट्रैफ़िक एक 3 मिनट की विंडो में।

इन्फ्रास्ट्रक्चर: Microsoft Limited ASN से चलता है, केवल US। 97.9% ट्रैफ़िक एक ही IP से।

GPTBot का 19 मार्च का बर्स्ट उसी Microsoft इन्फ्रास्ट्रक्चर से OAI-SearchBot बर्स्ट के साथ एक साथ हुआ: उसी टाइमस्टैम्प पर 50 req/min। यह समन्वित प्रतीत होता है।

OAI-SearchBot (OpenAI का सर्च क्रॉलर)

कुल: 330 अनुरोध | रुझान: फरवरी से मार्च +82% | IPs: 81

OAI-SearchBot, OpenAI का समर्पित सर्च क्रॉलर है, GPTBot से अलग। यह किसी भी AI बॉट में सबसे लगातार robots.txt जांचकर्ता है, बिना किसी अपवाद के हर एक दिन 3-6 बार इसे जांचता है।

यह क्या क्रॉल करता है:

  • robots.txt: कुल ट्रैफ़िक का 54.5% (180 हिट्स, 3.8/दिन औसत)
  • लेख: 52 अनुरोध
  • इमेज: 55 अनुरोध, सक्रिय रूप से लेख इमेज, लेखक फोटो, पेज स्क्रीनशॉट डाउनलोड करता है
  • होमपेज: 9 अनुरोध

क्रॉल समय: दिन भर फैला हुआ, 04:00 और 20:00 UTC पर हल्के पीक के साथ।

इन्फ्रास्ट्रक्चर: Microsoft Limited (87%) + Microsoft Corp (13%), केवल US।

एकमात्र OpenAI बॉट जो robots.txt का सम्मान करता है (इसे जुनूनी रूप से जांचता है)। Googlebot के अलावा एकमात्र AI बॉट जो सक्रिय रूप से वॉल्यूम में इमेज लाता है, संभवतः सर्च रिज़ल्ट कार्ड के लिए।

ChatGPT-User (लाइव उपयोगकर्ता सत्र फ़ेचर)

कुल: 923 अनुरोध | रुझान: फरवरी से मार्च +201% | IPs: 584

यह क्रॉलर नहीं है। यह तब फायर होता है जब कोई वास्तविक व्यक्ति ChatGPT वार्तालाप में wislr.com URL पेस्ट करता है। 584 अद्वितीय IPs (अनुरोधों के साथ लगभग 1:1) पुष्टि करते हैं कि ये व्यक्तिगत उपयोगकर्ता सत्र हैं। यह सबसे स्पष्ट संकेत है कि wislr.com सामग्री AI वार्तालापों में कितनी बार उद्धृत की जा रही है।

सबसे अधिक संदर्भित सामग्री:

हिट्स लेख
225 Shopify Same-Domain Checkout Analytics
112 Cloudflare Crawl Endpoint Pros and Cons
103 Cloudflare Crawl Best Settings
91 Cloudflare CDN Request Logging for Shopify
81 6 Core Tasks for Better 301 Redirects
50 AI Performance Metrics: Seven KPIs
37 Homepage
30 Essential Tools for Site Migrations
29 OpenAI KPIs and Success Metrics 2026
23 AEO Readiness Comparison

यह क्या नहीं लाता: शून्य इमेज, शून्य CSS, शून्य JS। शुद्ध HTML सामग्री निष्कर्षण, यह केवल टेक्स्ट चाहता है।

क्रॉल समय: सभी 24 घंटों में समान रूप से वितरित, मानव उपयोग पैटर्न का अनुसरण करता है।

भौगोलिक वितरण: US (50%), Poland (16%), Australia (5%), Spain (5%), Japan (5%), Brazil (4%), कुल 15 देश। शीर्ष शहर: Warsaw (149), Phoenix (145), San Antonio (126), Des Moines (91)।

ClaudeBot (Anthropic का प्रशिक्षण/इंडेक्सिंग क्रॉलर)

कुल: 206 अनुरोध | रुझान: फरवरी से मार्च +99% | IPs: 22

ClaudeBot मुख्य रूप से अनुपालन जांच पर केंद्रित है: इसके 85% ट्रैफ़िक में robots.txt है।

यह क्या क्रॉल करता है:

  • robots.txt: 175 अनुरोध (85%), फरवरी की शुरुआत में 1-2/दिन से बढ़कर मार्च तक 6-12/दिन
  • Sitemap.xml: 14 अनुरोध, 18 मार्च से शुरू (इससे पहले कभी नहीं छुआ)
  • इमेज: 10 अनुरोध (सभी 18 मार्च को)
  • सामग्री पेज: बहुत कम

ClaudeBot समय के साथ robots.txt को अधिक आक्रामक रूप से जांचता है। 18 मार्च को sitemap.xml में इसकी अचानक रुचि (उस दिन 5 हिट्स, 19 मार्च को 8) Anthropic से एक नई क्रॉल रणनीति लॉन्च का संकेत देती है।

इन्फ्रास्ट्रक्चर: Anthropic, PBC ASN (97%), केवल US।

Claude-SearchBot (Anthropic का वेब सर्च क्रॉलर)

कुल: 549 अनुरोध | रुझान: फरवरी से मार्च +54% | IPs: 8

ClaudeBot और Claude-User से अलग एक पृथक Anthropic बॉट। यह Claude की वेब सर्च सुविधा को संचालित करता है। ClaudeBot से अधिक आक्रामक, वास्तव में सामग्री क्रॉल करता है।

यह क्या क्रॉल करता है:

  • robots.txt: 164 अनुरोध (30%), दैनिक, 1-3 से बढ़कर 7-10/दिन
  • Sitemap.xml: 135 अनुरोध, 25 फरवरी से शुरू, Bingbot के बाद तेज़ी से दूसरा सबसे सक्रिय साइटमैप उपभोक्ता बन गया
  • लेख: 142 अनुरोध (26%)
  • भाषा वेरिएंट: ट्रैफ़िक का 23.3%
  • होमपेज: 45 अनुरोध

क्रॉल समय: रात्रि-भारित, 22:00, 01:00, 00:00 UTC पर पीक।

संयुक्त रूप से, Anthropic 3 अलग बॉट्स (ClaudeBot, Claude-SearchBot, Claude-User) संचालित करता है जिनके कुल 773 अनुरोध हैं, जो Anthropic को Meta-WebIndexer और ChatGPT-User के बाद तीसरी सबसे बड़ी AI बॉट उपस्थिति बनाता है।

Claude-User (Anthropic का लाइव सत्र फ़ेचर)

कुल: 18 अनुरोध | IPs: 8

ChatGPT-User का Anthropic समकक्ष। जब कोई Claude वार्तालाप में URL साझा करता है तब फायर होता है। ChatGPT-User से बहुत कम वॉल्यूम (18 बनाम 923)।

यह क्या क्रॉल करता है: robots.txt (9), फिर Cloudflare और एक लॉ फर्म केस स्टडी के बारे में लेख।

इन्फ्रास्ट्रक्चर: Google LLC ASN (100%), केवल US। Anthropic के अपने इन्फ्रा के बजाय Google Cloud के माध्यम से चलता है।

PerplexityBot (Perplexity का इंडेक्सिंग क्रॉलर)

कुल: 456 अनुरोध | रुझान: फरवरी से मार्च -13% | IPs: 13

बर्स्टी क्रॉल पैटर्न: फरवरी W2 में 132 अनुरोध, फरवरी W4 में 28 तक गिरा, मार्च W3 में फिर 98 तक बढ़ा।

यह क्या क्रॉल करता है:

  • लेख: ट्रैफ़िक का 77%, AI प्रदर्शन मेट्रिक्स सामग्री को भारी रूप से लक्षित करता है
  • robots.txt: 71 अनुरोध (स्थिर 1-4/दिन)
  • इमेज: 18 अनुरोध (लेख-विशिष्ट इमेज)
  • Sitemap.xml: शून्य। कभी अनुरोध नहीं करता।
  • भाषा वेरिएंट: 52.9%, व्यापक बहुभाषी कवरेज

क्रॉल समय: 23:00, 05:00 और 09:00 UTC पर तीन अलग बर्स्ट विंडो।

इन्फ्रास्ट्रक्चर: Amazon Technologies Inc. (96%), केवल US। 13 IPs, मध्यम सांद्रता।

Googlebot

कुल: 816 अनुरोध | IPs: 72

होमपेज-भारी (ट्रैफ़िक का 27%) और सबसे “फुल रेंडर” क्रॉलर। सामग्री के साथ इमेज, CSS, JS लाता है।

यह क्या क्रॉल करता है:

  • होमपेज: 220 अनुरोध (27%)
  • इमेज: 152 अनुरोध
  • CSS: 132 अनुरोध
  • JS: 54 अनुरोध
  • लेख: 141 अनुरोध
  • robots.txt: 68 अनुरोध
  • Sitemap.xml: 5 अनुरोध (कभी-कभी)

भाषा वेरिएंट: केवल 10.4%, अन्य बॉट्स की तुलना में काफी कम बहुभाषी।

इन्फ्रास्ट्रक्चर: Google LLC (91%), कुछ Sweden से (8%)। समान 24 घंटे क्रॉल पैटर्न।

Bingbot

कुल: 1,221 अनुरोध | रुझान: फरवरी से मार्च +23% | IPs: 258

सबसे सुसंगत और व्यापक क्रॉलर। साइटमैप का प्रमुख उपभोक्ता भी।

यह क्या क्रॉल करता है:

  • लेख: 68% (भारी भाषा वेरिएंट कवरेज के साथ)
  • Sitemap.xml: 139 अनुरोध (2-8/दिन, हर दिन), अब तक का सबसे सक्रिय साइटमैप क्रॉलर
  • इमेज: 78 अनुरोध (सोशल आइकन, डैशबोर्ड PNGs, लेख इमेज)
  • robots.txt: 36 अनुरोध

भाषा वेरिएंट: 60.3%, Dutch (97) और German (98) वेरिएंट पर भारी फोकस।

क्रॉल समय: समान 24 घंटे कवरेज, हमेशा चालू।

Meta-WebIndexer

कुल: 1,833 अनुरोध | रुझान: फरवरी से मार्च +59% | IPs: 156

कुल मिलाकर सबसे अधिक वॉल्यूम वाला बॉट। मुख्य रूप से सामग्री पर केंद्रित, विशेषकर भाषा वेरिएंट।

यह क्या क्रॉल करता है:

  • लेख: ट्रैफ़िक का 88%
  • भाषा वेरिएंट: 79.8%, अब तक का सबसे आक्रामक बहुभाषी क्रॉलर
  • Sitemap.xml: 30 अनुरोध
  • robots.txt: शून्य। robots.txt बिल्कुल नहीं जांचता।

क्रॉल समय: शाम/रात्रि भारी, 20:00-21:00 और 00:00-01:00 UTC पर पीक।

इन्फ्रास्ट्रक्चर: Meta Platforms Ireland Ltd ASN, केवल US।

GPTBot की तरह, Meta-WebIndexer robots.txt नहीं जांचता। GPTBot के विपरीत, यह पूरी अवधि में लगातार सक्रिय रहा है।

व्यवहार पैटर्न

robots.txt अनुपालन

व्यवहार बॉट्स
जुनूनी जांचकर्ता (दिन में कई बार) OAI-SearchBot (3.8/दिन), ClaudeBot (4/दिन), Claude-SearchBot (4/दिन)
नियमित जांचकर्ता (दैनिक या लगभग दैनिक) PerplexityBot, Googlebot, Applebot, Amazonbot, FacebookExternalHit (घड़ी की तरह ठीक 1/दिन)
केवल robots.txt जांचता है, कुछ और नहीं Bytespider (100%), CCBot (100%)
कभी robots.txt नहीं जांचता GPTBot, Meta-WebIndexer, ChatGPT-User

GPTBot और Meta-WebIndexer उल्लेखनीय रूप से गैर-अनुपालक बॉट्स हैं। वे बिना नियम जांचे आक्रामक रूप से क्रॉल करते हैं।

साइटमैप खोज

बॉट साइटमैप हिट्स पहला अनुरोध पैटर्न
Bingbot 139 1 फरवरी दैनिक, 2-8/दिन (साइटमैप का राजा)
Claude-SearchBot 135 25 फरवरी भारी, दूसरा सबसे सक्रिय बन गया
Meta-WebIndexer 30 5 फरवरी नियमित
ClaudeBot 14 18 मार्च बिल्कुल नया व्यवहार
Googlebot 5 2 फरवरी कभी-कभी
GPTBot 2 19 मार्च बिल्कुल नया व्यवहार
Applebot 1 17 मार्च एकल हिट

18-19 मार्च एक बदलाव का संकेत है। ClaudeBot और GPTBot दोनों ने पहली बार sitemap.xml का अनुरोध किया, जो Anthropic और OpenAI से एक साथ नई क्रॉल रणनीति लॉन्च का संकेत देता है।

llms.txt / AI-विशिष्ट फ़ाइल अनुरोध

किसी AI बॉट ने /llms.txt या /llm.txt का अनुरोध नहीं किया। GPTBot, ClaudeBot, PerplexityBot या किसी अन्य AI क्रॉलर से शून्य हिट्स।

llms.txt की जांच करने वाला एकमात्र बॉट Dataprovider.com (एक वेब एनालिटिक्स कंपनी) है: फरवरी-मार्च में 3 अनुरोध।

/.well-known/ai-plugin.json के लिए दो अनुरोध Firefox ब्राउज़र से आए, बॉट्स से नहीं।

भाषा वेरिएंट क्रॉलिंग

बॉट भाषा वेरिएंट में ट्रैफ़िक का % कवरेज
Meta-WebIndexer 79.8% सभी 11 भाषाएं, समान रूप से वितरित
GPTBot 61.5% सभी 11 भाषाएं, प्रत्येक 8-12
Bingbot 60.3% सभी 11, Dutch/German पर भारी
PerplexityBot 52.9% सभी 11, German/Spanish शीर्ष पर
Amazonbot 32.4% सभी 11
Claude-SearchBot 23.3% सभी 11, काफी समान
Applebot 23.0% सभी 11
OAI-SearchBot 11.2% सभी 11
Googlebot 10.4% Spanish/Portuguese शीर्ष पर
ChatGPT-User 4.7% French/Spanish/Italian (उपयोगकर्ता-संचालित)

Meta-WebIndexer और GPTBot सबसे आक्रामक बहुभाषी क्रॉलर हैं। ChatGPT-User का कम प्रतिशत तर्कसंगत है: यह दर्शाता है कि वास्तविक उपयोगकर्ता किन भाषाओं में पढ़ रहे हैं।

इमेज क्रॉलिंग

बॉट इमेज अनुरोध क्या लाते हैं
Googlebot 152 SVG आइकन, लोगो, फेविकॉन, रेंडरिंग एसेट
Google-InspectionTool 108 सोशल आइकन, केस स्टडी इमेज
Googlebot-Image 75 फेविकॉन, लोगो वेरिएंट, लेख इमेज
Bingbot 78 सोशल आइकन, डैशबोर्ड PNGs, लेख इमेज
OAI-SearchBot 55 लेख इमेज, लेखक फोटो, स्क्रीनशॉट
Applebot 32 लेख कवर इमेज
GPTBot 28 लेख हेडर, लेखक फोटो (सभी 19 मार्च को)
PerplexityBot 18 लेख इमेज
ClaudeBot 10 लेखक फोटो, स्क्रीनशॉट (सभी 18 मार्च को)
ChatGPT-User 0 कभी इमेज नहीं लाता

Googlebot रेंडरिंग के लिए इमेज लाता है। OAI-SearchBot संभवतः सर्च रिज़ल्ट कार्ड के लिए लाता है। GPTBot और ClaudeBot दोनों ने एक ही दिन केंद्रित इमेज बर्स्ट किए, जो बैच इंडेक्सिंग रन का संकेत देता है।

ChatGPT-User शून्य इमेज लाता है। शुद्ध टेक्स्ट निष्कर्षण।

अन्य उल्लेखनीय बॉट्स की खोज

PromptingBot/1.0.0 (104 अनुरोध)

  • Google Cloud इन्फ्रास्ट्रक्चर पर चलता है
  • 24 फरवरी से 13 मार्च तक सक्रिय
  • पूर्ण पेज रेंडरिंग करता है (CSS, JS, इमेज, सोशल आइकन लाता है)
  • AI प्रदर्शन मेट्रिक्स सामग्री को लक्षित करता है

LinkupBot/1.0 (47 अनुरोध)

  • linkup.so से, एक वेब इंडेक्सिंग सेवा
  • Microsoft इन्फ्रास्ट्रक्चर, मूल: France
  • robots.txt जांचता है, फिर माइग्रेशन/रीडायरेक्ट सामग्री पर ध्यान केंद्रित करता है

Brightbot 1.0 (46 अनुरोध)

  • truview LLC से, 41 अद्वितीय IPs
  • Dutch भाषा वेरिएंट पर ध्यान केंद्रित करता है

Observer/1.0 (36 अनुरोध)

  • obsrvr.net से, German/Finnish इन्फ्रास्ट्रक्चर
  • केवल robots.txt और एक French लेख क्रॉल करता है

Dataprovider.com (148 अनुरोध)

  • कनाडाई वेब एनालिटिक्स कंपनी
  • /llms.txt जांचने वाला एकमात्र बॉट (3 बार)
  • /ads.txt और /humans.txt भी जांचता है

HTTP मेथड

प्रत्येक बॉट विशेष रूप से GET का उपयोग करता है। सभी 12,099 बॉट अनुरोधों में शून्य HEAD, POST या अन्य मेथड।

देश/ASN डेटा

बॉट प्राथमिक ASN देश
GPTBot Microsoft Limited केवल US
OAI-SearchBot Microsoft Limited (87%) + Microsoft Corp (13%) केवल US
ChatGPT-User Microsoft Corporation (78%) US (50%), Poland (16%), Australia (5%), Spain (5%), Japan (5%), Brazil (4%), 15 देश
ClaudeBot Anthropic, PBC (97%) केवल US
Claude-SearchBot Anthropic, PBC (100%) केवल US
Claude-User Google LLC (100%) केवल US
PerplexityBot Amazon Technologies Inc. (96%) केवल US
Amazonbot Amazon (100%) केवल US
Applebot Apple Inc. (100%) केवल US
Bingbot Microsoft Corporation (99.7%) केवल US
Googlebot Google LLC (91%) US (92%), Sweden (8%)
Meta-WebIndexer Meta Platforms Ireland Ltd (100%) केवल US
Bytespider Amazon Singapore (53%), China Unicom (47%) Singapore (53%), China (47%)

Bytespider (Singapore/China) को छोड़कर सभी प्रमुख AI बॉट्स US इन्फ्रास्ट्रक्चर से चलते हैं। ChatGPT-User एकमात्र बॉट है जिसका वास्तव में वैश्विक वितरण है, जो इसके मानव उपयोगकर्ता आधार को दर्शाता है।

अक्सर पूछे जाने वाले प्रश्न

2026 में कौन से AI बॉट्स वेबसाइटों पर सबसे अधिक बार आ रहे हैं?

wislr.com के 48 दिनों के सर्वर लॉग डेटा के आधार पर, सबसे अधिक वॉल्यूम वाले AI बॉट्स हैं: Meta-WebIndexer (1,833 अनुरोध), ChatGPT-User (923 अनुरोध), Claude-SearchBot (549 अनुरोध), Applebot (495 अनुरोध), PerplexityBot (456 अनुरोध), OAI-SearchBot (330 अनुरोध), ClaudeBot (206 अनुरोध), और GPTBot (187 अनुरोध)। ChatGPT-User ने फरवरी और मार्च 2026 के बीच +201% की सबसे तेज वृद्धि दिखाई।

क्या AI बॉट्स क्रॉलिंग से पहले robots.txt जांचते हैं?

यह काफी भिन्न होता है। OAI-SearchBot बिना किसी अपवाद के प्रतिदिन 3-6 बार robots.txt जांचता है। ClaudeBot और Claude-SearchBot औसतन प्रतिदिन 4 बार जांचते हैं। Bytespider और CCBot केवल robots.txt जांचते हैं और कोई वास्तविक सामग्री क्रॉल नहीं करते। हालांकि, GPTBot और Meta-WebIndexer सबसे सक्रिय क्रॉलर्स होने के बावजूद कभी robots.txt नहीं जांचते। ChatGPT-User भी कभी robots.txt नहीं जांचता।

क्या कोई AI बॉट llms.txt का अनुरोध करता है?

नहीं। 48 दिनों में 12,099 बॉट अनुरोधों में से शून्य AI बॉट्स ने /llms.txt या /llm.txt का अनुरोध किया। llms.txt की जांच करने वाला एकमात्र बॉट Dataprovider.com था, जो एक वेब एनालिटिक्स कंपनी है, AI प्लेटफॉर्म नहीं। llms.txt को एक मानक के रूप में बढ़ती चर्चा के बावजूद, वर्तमान में कोई AI क्रॉलर व्यवहार में इसे नहीं खोजता।

GPTBot और ChatGPT-User में क्या अंतर है?

GPTBot, OpenAI का प्रशिक्षण और इंडेक्सिंग क्रॉलर है जो व्यवस्थित रूप से पेज, भाषा वेरिएंट और इमेज को केंद्रित बर्स्ट में क्रॉल करता है, अक्सर robots.txt जांचे बिना। ChatGPT-User तब सक्रिय होता है जब कोई वास्तविक व्यक्ति ChatGPT वार्तालाप में URL पेस्ट करता है। ChatGPT-User के 923 अनुरोधों के लिए 584 अद्वितीय IPs थे (लगभग 1:1), जो व्यक्तिगत उपयोगकर्ता सत्रों की पुष्टि करता है। ChatGPT-User केवल HTML टेक्स्ट लाता है, कभी इमेज, CSS या JS नहीं। GPTBot सभी प्रकार की फाइलें लाता है।

आप अपनी वेबसाइट पर AI बॉट ट्रैफ़िक का पता कैसे लगा सकते हैं?

AI बॉट ट्रैफ़िक Google Analytics जैसे क्लाइंट-साइड एनालिटिक्स टूल्स के लिए अदृश्य है क्योंकि बॉट्स JavaScript निष्पादित नहीं करते। आपको सर्वर-साइड रिक्वेस्ट लॉगिंग की आवश्यकता है जो आपके डोमेन पर आने वाले कच्चे HTTP अनुरोधों को कैप्चर करे, जिसमें User-Agent हेडर शामिल है जो GPTBot, ChatGPT-User, ClaudeBot और अन्य बॉट्स की पहचान करता है। WISLR AI Visibility Dashboard यह स्तर की दृश्यता बिल्ट-इन प्रदान करता है।

कौन से AI बॉट्स बहुभाषी सामग्री को सबसे आक्रामक रूप से क्रॉल करते हैं?

Meta-WebIndexer अपने क्रॉल बजट का 79.8% भाषा वेरिएंट पर खर्च करता है, जो इसे सबसे आक्रामक बहुभाषी क्रॉलर बनाता है। GPTBot 61.5% के साथ दूसरे स्थान पर है, जो लेखों के सभी 11 भाषा संस्करण क्रॉल करता है। Bingbot (60.3%) और PerplexityBot (52.9%) भी बहुभाषी सामग्री को भारी मात्रा में लक्षित करते हैं। Googlebot केवल 10.4% के साथ उल्लेखनीय रूप से कम बहुभाषी है। ChatGPT-User की कम 4.7% दर दर्शाती है कि यह मानव उपयोगकर्ताओं द्वारा संचालित है, स्वचालित क्रॉलिंग द्वारा नहीं।