आपने सितंबर की शुरुआत में अपनी AI बॉट रिपोर्ट खोली और उसमें एक खाई है। 20 अगस्त के आसपास एक लाइन, जो पूरे साल चढ़ती आई थी, तीन-चौथाई गिरती है और फिर कभी नहीं लौटती। हो सकता है वह आप तक आपके CDN की बॉट एनालिटिक्स से पहुँची हो, हो सकता है लॉग पर आधारित किसी विज़िबिलिटी टूल से, हो सकता है उस डैशबोर्ड में जो आपकी एजेंसी भेजती है।
आप अकेले नहीं हैं, और वजह आपकी साइट नहीं है। यही खाई हमारी मापी गई हर साइट पर, उन्हीं तीन दिनों में आई, और जिस एक और साइट को हमने अलग से जाँचा, वह भी इसे दिखाती है।
फिर भी आपका डैशबोर्ड आपको जो हुआ उसका सिर्फ़ आधा हिस्सा दिखा रहा है। उन्हीं दिनों ChatGPT से आने वाले लोगों की संख्या सिंगल डिजिट में हिली। किसी ने आना बंद नहीं किया। महीनों तक साथ-साथ चले दो आँकड़े एक सप्ताहांत में अलग हो गए, और क्रॉलर गतिविधि गिनने वाले टूल आपको उन दोनों में से सिर्फ़ वही दिखाते हैं जो गिरा।
आगे यही है कि क्या बदला, ऐसा क्यों हुआ, और दोनों के अलग हो जाने के बाद अपने आँकड़े कैसे पढ़ें।
क्या बदला
19 और 21 अगस्त 2026 के बीच, OpenAI के जाने-पहचाने क्रॉलरों से आने वाले पेज फ़ेच घटकर पहले के करीब एक-चौथाई रह गए और वहीं टिके रहे। हमारी विश्लेषण की गई हर साइट यह दिखाती है। एक दूसरी साइट, जो कच्चे एज लॉग से स्वतंत्र रूप से मापी गई, करीब 75% की गिरावट दिखाती है।
आखिरी बिंदु किसी एक दिन के बजाय बाकी अवधि का दैनिक औसत है, क्योंकि आँकड़ा एक बार जम जाने के बाद मुश्किल से हिला।
पूरी गिरावट में दो दिन लगे, और उसके बाद के अठारह दिन नए स्तर पर सपाट बैठे हैं। कोई आउटेज तब तक ठीक हो चुका होता।
क्या नहीं बदला
ChatGPT से आने वाले लोग आते रहे। जिन दिनों ने क्रॉलर वाले आँकड़े से तीन-चौथाई काट लिया, उन्हीं दिनों आगमन सिंगल डिजिट में हिला।
आगमन का आँकड़ा अलग-अलग रास्तों से दो बार मापा गया है और दोनों बार के नतीजे कुछ अंक अलग बैठते हैं, इसलिए वह एक अकेली संख्या के बजाय उन दोनों के बीच की रेंज के रूप में छपता है। क्रॉलर वाला आँकड़ा उसके बाद के अठारह दिनों का टिका हुआ स्तर है।
यह शृंखला शोर भरी है। गर्मियों में पहले की एक तुलनीय अवधि में, जिसमें कोई ज्ञात घटना नहीं थी, यही माप सामान्य अवधियों के बीच औसतन 8.7% झूली, और 18.8% तक पहुँची। सिंगल डिजिट का बदलाव वह चीज़ है जो यह वैसे भी करती है। 74% का बदलाव नहीं है।
क्रॉलर वाला आँकड़ा खाई में गिरा, जबकि आगमन वाले आँकड़े ने वही किया जो यह शृंखला ज़्यादातर महीनों में करती है। वे आगमन लोग हैं। उनमें से हर एक ने कोई जवाब पढ़ा, उसमें दिए लिंक को टैप किया, और साइट पर पहुँचा, और साइटेशन मिलने की आपको परवाह भी उन्हीं की वजह से है।
हमें क्यों लगता है कि ऐसा हो रहा है
दो चीज़ें साथ गिरीं: हर पेज कितनी बार फ़ेच हुआ, 47% नीचे, और कुल मिलाकर कितने अलग-अलग पेज फ़ेच हुए, 53% नीचे।
यह जोड़ी उस पहली व्याख्या को खारिज कर देती है जिस तक ज़्यादातर लोग पहुँचते हैं। अगर कोई सिस्टम आपके पेजों की कैशिंग कड़ी कर रहा होता, यानी अपने पास पहले से रखी कॉपियाँ दोबारा जाँच रहा होता, तो आप उम्मीद करते कि वह उन्हीं पेजों को कम बार फ़ेच करे और पेजों का सेट लगभग उतना ही छूता रहे। सेट उतना ही सिकुड़ा जितनी बारंबारता। अकेली कैशिंग यह नहीं बनाती।
query fan-out घटाना यह बनाता है। जब आप ChatGPT Search से कुछ पूछते हैं, तो सवाल कई सब-क्वेरी में फैल जाता है, और हर सब-क्वेरी जाकर अपने स्रोत खींचती है। सब-क्वेरी की संख्या काटिए और आप कम स्रोतों तक, और हर एक तक कम बार पहुँचते हैं, जो ऊपर के दोनों आँकड़ों का साथ हिलना ही है।
ट्रेड प्रेस में कहीं और की रिपोर्टिंग अगस्त के इस बदलाव को ठीक इसी से जोड़ती है, यानी ChatGPT Search के query fan-out में कटौती से। हमने OpenAI की कोई फ़र्स्ट-पार्टी घोषणा नहीं देखी है, इसलिए बताई गई वजह को स्थापित तथ्य नहीं, किसी और की रिपोर्टिंग मानें। हम आपको जो दिखा सकते हैं वह मापा हुआ आकार है, और वह मेल खाता है।
वही रिपोर्टिंग Reddit की गिरावट 86% बताती है। हमारी मापी गई दो साइटों पर करीब 73% और 57% के सामने रखने पर यह बताता है कि यह किसी खास किस्म की साइट पर नहीं, बल्कि व्यापक रूप से आया।
हमने कैसे जाँचा कि ट्रैफ़िक OpenAI का था
कोई क्रॉलर आपके सर्वर को बताता है कि वह कौन सा सॉफ़्टवेयर है। आपके लॉग में और हमारे लॉग में, OpenAI की रिक्वेस्ट को बाकी सबकी रिक्वेस्ट से सिर्फ़ वही नाम अलग करता है, और ऊपर की हर बात के नीचे वही कमज़ोर कड़ी है।
नाम बदलने से भी बिल्कुल यही सबूत बनते। अगर OpenAI ने चुपचाप किसी क्रॉलर का लेबल बदल दिया होता, या यह काम किसी ऐसे एजेंट को सौंप दिया होता जिसे कोई OpenAI से नहीं जोड़ता, तो आपको एक वैश्विक बदलाव दिखता, एक ही 48 घंटे की खिड़की के भीतर, हर साइट पर, अलग-अलग कोडबेस के आर-पार, कच्चे लॉग में साफ़ दिखता हुआ। ठीक वही जो हमने देखा।
इसलिए जाँच को नामों से पूरी तरह बचना ही था। OpenAI उन IP रेंज को प्रकाशित करता है जिनसे उसके क्रॉलर चलते हैं। यूज़र एजेंट के बजाय उन रेंज से आई रिक्वेस्ट गिनने पर गिरावट अब भी मौजूद है, 63% पर, और उनके अंदर कोई अनजाना यूज़र एजेंट छिपा नहीं था। किसी का नाम नहीं बदला था। ट्रैफ़िक सचमुच आ ही नहीं रहा।
यही वह अकेला विकल्प था जो हमें अपनी बात वापस लेने पर मजबूर करता, और वह खत्म हो चुका है।
यह और क्या नहीं है
विश्लेषण के दौरान दो और व्याख्याएँ उठीं और दोनों खत्म हो गईं। दोनों यहाँ इसलिए हैं क्योंकि उनमें से कोई भी सच से ज़्यादा साफ़-सुथरी कहानी बनाती, और क्योंकि हो सकता है आप अपने डेटा को लेकर उनमें से किसी एक तक पहुँच रहे हों।
- रिपोर्टिंग की गड़बड़ी। गिरावट कच्चे, पहचान हटाए गए लॉग में मौजूद है, जिनके रास्ते में कहीं कोई क्लासिफ़ायर नहीं है। इसमें शामिल साइटें अलग-अलग कोडबेस चलाती हैं, और उनमें से एक पर पूरी खिड़की के दौरान कुछ भी डिप्लॉय नहीं हुआ। रोज़ाना कच्ची लॉग फ़ाइलों की गिनती कभी हिली ही नहीं।
- हमारी तरफ़ का कोई कोड बदलाव। 19 अगस्त को एक डिप्लॉयमेंट बहुत ही सुविधाजनक समय पर आया। किसी ने उसे संभावित वजह बताया और फिर अपनी बात वापस ले ली, क्योंकि वह जिन पंक्तियों को छूता है वे इस मेट्रिक की गिनी जाने वाली वैल्यू ढो ही नहीं सकतीं। सुविधाजनक समय सबूत नहीं होता।
- स्क्रेप की गई मिरर की सफ़ाई। इन साइटों की कॉपियाँ स्क्रेप करके कहीं और दोबारा प्रकाशित की गई थीं, और उसी समय के आसपास उनकी सफ़ाई हुई। वह 14 अगस्त को चरम पर थी और 16 तारीख तक निपट गई। बदलाव के दोनों ओर मिरर किए गए पाथ को छूने वाले फ़ेच कुल का 2% से कम थे, और उसके बाद उनका हिस्सा घटने के बजाय थोड़ा बढ़ा।
एक-दूसरे से असंबंधित दो चीज़ें एक हफ़्ते के भीतर आ गिरीं। जो भी अकेली व्याख्या दोनों को समेटती हो, वह शुरू होने से पहले ही गलत है।
आपका AI टूल तीन अलग चीज़ों में से एक गिनता है
अपने आँकड़े पढ़ने से पहले आपको यह जानना होगा कि इनमें से आपके हाथ में कौन सा है। AI मापन बाज़ार तीन अलग प्रोडक्ट बेचता है और तीनों का वर्णन लगभग एक ही भाषा में करता है। वे अलग-अलग चीज़ें देखते हैं।
| आपका टूल क्या देखता है | उसे आँकड़ा कैसे मिलता है | अगस्त 2026 में उसने क्या दिखाया |
|---|---|---|
| प्रॉम्प्ट ट्रैकिंग, या शेयर ऑफ़ वॉइस | तय समय पर असिस्टेंट के सामने सवालों का एक सेट रखता है और दर्ज करता है कि आपके ब्रांड का नाम आया या नहीं | कुछ नहीं, अपनी बनावट से ही। वह क्रॉलर रिक्वेस्ट कभी गिनता ही नहीं |
| AI बॉट गतिविधि, CDN बॉट एनालिटिक्स या सर्वर लॉग से | AI क्रॉलरों की रिक्वेस्ट गिनता है, सॉफ़्टवेयर के बताए नाम से पहचानकर | करीब तीन-चौथाई की पूरी गिरावट |
| असिस्टेंट से आगमन | उन लोगों को गिनता है जिन्होंने जवाब में दिए लिंक को टैप किया और आपकी साइट पर पहुँचे | एक सामान्य लाइन |
अगर आप इसे Profound, Searchable, या AI बॉट गतिविधि के लिए आपके लॉग पढ़ने वाले किसी और टूल से देख रहे हैं, तो आपके सामने की गिरावट कोई जुर्माना नहीं है। किसी ने आपकी साइट को नीचे नहीं किया, और आपके किए किसी काम से यह नहीं हुआ। वे टूल गिनते हैं कि OpenAI के क्रॉलरों ने आपके पेज कितनी बार माँगे, और OpenAI ने माँगने की बारंबारता बदल दी। यही गिरावट हमारी मापी गई हर साइट पर, उन्हीं तीन दिनों के भीतर आई, और उस हफ़्ते एक कहीं बड़ी साइट के 86% गिरने की खबर आई। फ़ेच के व्यवहार में आया सिस्टम-व्यापी बदलाव लॉग पर आधारित रिपोर्ट में ठीक यही आकार बनाता है, और वह आपकी हैसियत के बारे में कुछ नहीं कहता।
प्रॉम्प्ट ट्रैकर आपको यह घटना दिखा ही नहीं सकता। आपके पेज कितनी बार फ़ेच होते हैं, इसमें आए बदलाव के लिए जवाबों से बने आँकड़े तक कोई रास्ता ही नहीं है। यह किसी निष्कर्ष के बजाय इस बारे में एक बयान है कि वह उपकरण कैसे काम करता है: हमने अगस्त में जवाब की तरफ़ की विज़िबिलिटी नहीं मापी, और यह लेख यह दावा नहीं करता कि वह टिकी रही या गिरी।
जिन टूल ने इसे दिखाया, वे क्रॉलर गतिविधि पढ़ रहे थे, और उन्होंने आँकड़े की सही रिपोर्ट दी। दिक्कत वहाँ से शुरू होती है जहाँ लोग उसका मतलब निकालते हैं। किसी स्टोर मालिक को बताइए कि अगस्त में उनके AI साइटेशन 74% गिर गए, और आपने उन्हें एक मेट्रिक के बारे में सच और उनके ग्राहकों के बारे में झूठ बता दिया।
अपने नए आँकड़े कैसे पढ़ें
- वही तारीखें ऐसी रिपोर्ट से निकालिए जो रिक्वेस्ट के बजाय लोग गिनती है। 20 अगस्त 2026 वाले हफ़्ते में करीब तीन-चौथाई की सीढ़ीनुमा गिरावट, जिसके बगल में आगमन की एक सामान्य लाइन बैठी हो, यही घटना है, और यह खोई हुई ऑडियंस नहीं है।
- साइटेशन कहने वाले किसी भी टूल से पूछिए कि उसका मतलब कौन सी मात्रा है। फ़ेच और आगमन, दोनों को यही कहा जाता है, और एक ही साइट पर एक ही महीने में दोनों में कई गुना का फ़र्क होता है।
- 20 अगस्त को गिरावट के बजाय शृंखला में आया एक विच्छेद मानिए। किसी फ़ेच गिनती पर सितंबर की तुलना जुलाई से करना अब दो अलग व्यवहारों को मापता है, इसलिए उस मेट्रिक पर आपके साल-दर-साल और महीने-दर-महीने के आँकड़े पूरा एक साल बीतने तक गलत ही रहेंगे।
- बॉट डैशबोर्ड को उस काम के लिए रखिए जो वह अच्छा करता है, यानी यह बताना कि आपके पेज पहुँच में हैं और पढ़े भी जा रहे हैं या नहीं। चैनल को खुद आगमन के आधार पर आँकिए, और इस आधार पर कि वे आगमन क्या खरीदते हैं।
अगस्त 2026 आप जिस भी AI मापन पर भरोसा करते हैं, उसकी परीक्षा के तौर पर काम करता है। जिस टूल ने भी आपको उस महीने ढहना दिखाया, वह क्रॉलर व्यवहार की रिपोर्ट दे रहा था, और अब आप जानते हैं कि उसके बगल वाले टूलों को इसके बजाय आपको क्या दिखाना चाहिए था।