क्या LLM ट्रेनिंग पेज सचमुच काम करते हैं?
हाँ. आठ हफ्तों के एक नियंत्रित परीक्षण में, जिस कैटेगरी को ट्रेनिंग पेज मिले उसे बेसलाइन के तौर पर रोकी गई एक तुलनीय कैटेगरी से लगभग 17% ज़्यादा क्रॉल किया गया. एक प्रोडक्ट कैटेगरी को prerendered LLM ट्रेनिंग पेज मिले. एक मिलती-जुलती कैटेगरी को रोलआउट से बाहर रखा गया और बेसलाइन के तौर पर इस्तेमाल किया गया. आठ हफ्ते बाद ट्रीटेड कैटेगरी पर holdout से 17% ज्यादा क्रॉलिंग हो रही थी. उन्हीं हफ्तों में पूरी साइट पर क्रॉलिंग बढ़ी, इसलिए holdout के बिना अपने असर को पृष्ठभूमि से अलग पहचानने का कोई तरीका नहीं होता. जो पेज हमने बदला वह एक सामान्य category listing page है, इसलिए यही बिल्ड Shopify, Magento, Adobe Commerce, Salesforce Commerce Cloud और हर उस प्लेटफॉर्म पर लागू होता है जो सर्वर पर HTML रेंडर कर सकता है. ट्रेनिंग क्रॉल वह जरिया है जिससे मॉडल आपके ब्रांड को याद कर लेता है. इसे सही कर लीजिए और असिस्टेंट आपके प्रोडक्ट का नाम उसी जानकारी से बता देगा जो उसके पास पहले से है: कोई वेब फेच नहीं, कोई सिटेशन नहीं, क्लिक करने के लिए कोई लिंक नहीं, बस वे स्पेसिफिकेशन और तुलनाएं जो उसने एक बार पढ़ीं और याद रख लीं. यह तभी होता है जब ट्रेनिंग क्रॉलर पेज को पढ़ पाया हो, और यही वह इकलौता कदम है जिसे ब्रांड सीधे नियंत्रित और सीधे माप सकता है. आगे वह पेज है जो हमने शिप किया, लाइव होने के बाद के आठ हफ्ते, और वे तीन टेस्ट जो हमने नतीजे को तोड़ने की कोशिश में चलाए.
- AI training crawls ran 17% above the untouched control. लॉन्च के बाद के 8 हफ्तों में मापा गया. नतीजा 46 गढ़ी हुई लॉन्च तारीखों पर किए गए placebo test में टिका, विश्लेषण से कोई भी एक पेज हटाने पर टिका, और विश्लेषण विंडो बदलने पर भी टिका.
- A comparable category ran alongside as a holdout, and every number is measured against it. उसी विंडो में पूरी साइट की क्रॉलिंग तेजी से बढ़ी, इसलिए holdout ही असर को पृष्ठभूमि से अलग करता है. डेटा गुणवत्ता की जांच भी उसी ने संभाली: जब लगातार सात दिन हर कैटेगरी में, holdout समेत, ट्रेनिंग क्रॉल शून्य दिखे, तो यह क्रॉलर के व्यवहार के बजाय लॉगिंग आउटेज की पहचान थी, और वे दिन हटा दिए गए.
- Both categories more than doubled. The training pages account for the 22% gap between them. कच्चे ट्रेनिंग क्रॉल ट्रीटेड कैटेगरी पर 2.7x बढ़े और उस holdout पर 2.2x जिसे कुछ भी नहीं मिला था, यानी ज्यादातर बढ़त पूरे उद्योग की थी और वैसे भी आती. अपने-अपने प्री-लॉन्च औसत के सापेक्ष इंडेक्स करने पर दोनों रेखाएं विंडो के अंत में 22% के फासले पर हैं. पूरे आठ हफ्तों के औसत में यह फासला 17% पर ठहरता है.
-
In-stock pages gained 43% of training crawls. Out-of-stock pages lost 22%.
In stock पेज (10): 5,090 → 7,270 ट्रेनिंग क्रॉल (+43%)Out of stock पेज (3): 870 → 680 (−22%)हर out of stock पेज ने क्रॉल ध्यान खोया. यह 13 पेजों से निकला है और हमने इसकी भविष्यवाणी पहले से नहीं की थी, इसलिए यह निष्कर्ष नहीं बल्कि एक सुराग है जिसे ठीक से जांचना चाहिए.
- Once a model has read your pages, it can recommend them without looking them up. A training crawl is what puts your product facts into the model itself, so an assistant can answer from memory rather than going out to the web. Getting crawled is not the same as getting recommended. What it changes is what the model knows about your range by default, before anyone asks it anything, and it is the part of the chain a brand can change on purpose and check the next morning. Crawls are the only thing we measured here.
एक कैटेगरी को ट्रेनिंग पेज मिले. एक तुलनीय कैटेगरी को नहीं.
हमारे क्लाइंट ने मई 2026 में एक प्रोडक्ट कैटेगरी के लिए prerendered LLM ट्रेनिंग पेज शिप किए. तुलनीय आकार की दूसरी कैटेगरी को रोलआउट से बाहर रखा गया ताकि उसे बेसलाइन की तरह इस्तेमाल किया जा सके. इस रिपोर्ट की हर बात उसी holdout के सापेक्ष मापी गई है.
यहां "ट्रेनिंग पेज" का मतलब है एक prerendered, सर्वर-रेंडर्ड पेज जो इस तरह बना है कि AI क्रॉलर बिना JavaScript चलाए पूरा प्रोडक्ट विवरण पढ़ सके: स्पेसिफिकेशन, तुलनाएं और सीधी भाषा में जवाब, और बॉडी कंटेंट से हर प्रोडक्ट पेज तक लिंक. सवाल यह है कि इन्हें शिप करने से क्रॉलर के व्यवहार में कुछ बदलता भी है या नहीं.
इसका जवाब देना दिखने से कठिन है, क्योंकि AI क्रॉलिंग हर जगह बढ़ रही है. मई में ट्रेनिंग पेज शिप कीजिए, जून में क्रॉल बढ़ते देखिए, और आपने बहुत कम सीखा. आपको यह जानना होगा कि वैसे भी क्या होता. holdout कैटेगरी यही देती है: यह इस बात का सबसे नजदीकी उपलब्ध अनुमान है कि अगर कुछ शिप न होता तो ट्रीटेड कैटेगरी का क्या होता.
कैटेगरी के नाम ग्रहों पर रखे गए हैं. ट्रीटेड कैटेगरी के भीतर के प्रोडक्ट पेजों के नाम चंद्रमाओं पर हैं. आंकड़े ठीक वैसे हैं जैसे मापे गए. हमारे क्लाइंट और उनका वर्टिकल उजागर नहीं किया गया है.
मीट्रिक है AI ट्रेनिंग क्रॉल: उन प्रोडक्ट पेजों पर AI ट्रेनिंग क्रॉलर के हिट जिनसे हर कैटेगरी का listing page अपने बॉडी कंटेंट में लिंक करता है. नेविगेशन, हेडर और फुटर लिंक बाहर रखे गए हैं, यानी हम उन्हीं पेजों के क्रॉल गिन रहे हैं जिनकी ओर ट्रेनिंग पेज सचमुच इशारा करता है.
अवलोकन की इकाई दिन है, हिट नहीं. एक क्रॉलर सेशन एक ही झोंके में सैकड़ों रिक्वेस्ट भेज सकता है, इसलिए 17,030 हिट को 17,030 स्वतंत्र प्रेक्षण मानने पर लगभग कुछ भी सार्थक दिखने लगेगा. नीचे के चार्ट में 118 दिन हैं, और सांख्यिकीय विंडो के भीतर लॉन्च के हर तरफ 57 दिन.
एक बार मॉडल आपके पेज पढ़ ले, तो वह उन्हें बिना खोजे ही सुझा सकता है.
ट्रेनिंग क्रॉल आपके प्रोडक्ट के तथ्यों को मॉडल के भीतर ले जाता है, ताकि असिस्टेंट वेब पर जाने के बजाय याददाश्त से जवाब दे सके. यही वह मीट्रिक है जिसे यह अध्ययन हिलाता है.
व्यवहार में यह ऐसा दिखता है. कोई असिस्टेंट से पूछता है कि इनमें से कौन सा लेना चाहिए. वह आपके प्रोडक्ट का नाम लेकर जवाब देता है, बताता है कि वह क्या करता है और किसके लिए ठीक है, और विकल्प से उसकी तुलना करता है, यह सब उसी जानकारी से जो वह पहले सीख चुका है. कोई फेच नहीं, कोई सिटेशन नहीं, कोई स्रोत लिंक नहीं. मॉडल आपकी रेंज को वैसे ही जानता है जैसे बाकी सब कुछ, और वह जानकारी उन पेजों से आई जिन्हें ट्रेनिंग क्रॉलर ने महीनों पहले पढ़ा और आत्मसात किया.
लाइव रिट्रीवल, जहां असिस्टेंट जवाब देते-देते पेज फेच करके उसे उद्धृत करता है, अंदर आने का दूसरा रास्ता है. वह मायने रखता है, और उसकी शुरुआत भी वहीं से होती है: क्रॉलर आपके सर्वर से पेज मांगता है और उसे कुछ ऐसा मिलता है जिसे वह पढ़ सके.
उसे JavaScript का खोल थमा दीजिए और आप दोनों में से किसी में नहीं हैं. मॉडल यह नहीं सीखता कि आपका प्रोडक्ट क्या करता है, रिट्रीवल परत के पास खींचने को कुछ नहीं होता, और जब कोई ग्राहक असिस्टेंट से आपकी रेंज की तुलना प्रतिद्वंद्वी से करने को कहता है, तो असिस्टेंट उसी से जवाब देता है जो उसके पास है. वह आमतौर पर कोई मार्केटप्लेस लिस्टिंग, कोई रिव्यू साइट, या प्रतिद्वंद्वी होता है.
यह ईमानदार जवाब है कि यह आंकड़ा क्यों मायने रखता है, और इसी वजह से हम इससे किए जाने वाले दावों को लेकर सावधान हैं. यह अध्ययन साबित करता है कि ट्रेनिंग पेजों की वजह से पेज ज्यादा बार पढ़े गए. यह साबित नहीं करता कि किसी मॉडल ने पढ़ी हुई चीज के साथ क्या किया. हम इसका दिखावा नहीं करेंगे, और जो रिपोर्ट सीधे क्रॉल चार्ट से राजस्व के वादे पर कूद जाए, उस पर आपको भरोसा नहीं करना चाहिए.
फिर भी क्रॉल के पीछे भागना इसलिए सार्थक है क्योंकि यही वह इकलौती कड़ी है जिस पर आप सीधे काम कर सकते हैं. आप मॉडल को अपना हवाला देने पर मजबूर नहीं कर सकते. आप यह तय कर सकते हैं कि आपका सर्वर क्रॉलर को क्या देता है, और आप गिन सकते हैं कि आगे क्या होता है.
लगभग 3,000 शब्दों का prerendered कंटेंट प्रोडक्ट ग्रिड के नीचे बैठा है.
"LLM ट्रेनिंग पेज" एक धुंधला शब्द है, इसलिए हमने लाइव पेज को खोलकर गिना कि उस पर क्या-क्या था.
listing page पर ऊपर अपना सामान्य प्रोडक्ट ग्रिड बना रहता है. ग्रिड के नीचे सब कुछ ट्रेनिंग कंटेंट है: prerendered HTML जिसे क्रॉलर बिना JavaScript चलाए पढ़ सकता है. यह लगभग 3,000 शब्द तक जाता है, यानी पेज की बॉडी कॉपी का करीब 77%.
ढांचा जानबूझकर खुद को दोहराता है. हर प्रोडक्ट डीप-डाइव का आकार एक जैसा है: एक "यह किस वजह से अलग है" सेक्शन जो छह अलग-अलग शीर्षकों वाले कारणों में बंटा है, उसके बाद एक स्पेसिफिकेशन टेबल. इसे पढ़ने वाले मॉडल को अनुमान लगाने को कम ही बचता है, क्योंकि हर जवाब पहले से एक स्वतंत्र खंड के रूप में उस शीर्षक के नीचे बैठा है जो उस सवाल का नाम लेता है जिसका वह जवाब देता है.
AI विजिबिलिटी की बहुत सी सलाह असल में स्कीमा की सलाह है, इसलिए हमने स्कीमा हटा दिया. प्रोडक्ट्स तक कॉपी के भीतर के लिंक भी इसी वजह से छोड़े गए. जो कुछ हिला, वह इसलिए हिला क्योंकि कंटेंट HTML में था, शीर्षकों और टेबलों में व्यवस्थित था, और बिना ब्राउजर के पढ़ा जा सकता था. इससे हमें एक साफ नींव मिलती है: अगला टेस्ट इंटरनल लिंक जोड़ेगा, उसके बाद वाला स्ट्रक्चर्ड डेटा, और हर बार हम माप सकेंगे कि हर जोड़ अकेले कितना मूल्य देता है, बजाय सब कुछ एक साथ शिप करके अंदाजा लगाने के कि किस हिस्से ने काम किया.
एक और चीज जानबूझकर रोकी गई: 13 लिंक किए गए प्रोडक्ट पेजों में से केवल 6 को अपना डीप-डाइव ब्लॉक मिला. बाकी सात सिर्फ ग्रिड से लिंक हैं, इससे ज्यादा कुछ नहीं. यह चूक नहीं थी. इससे सात ऐसे पेज बचे जिन्हें एक समृद्ध पेज पर बैठने का फायदा मिला पर अपनी कोई कॉपी नहीं मिली, और यही अध्ययन की सबसे उपयोगी तुलनाओं में से एक निकली.
ट्रीटेड कैटेगरी पर ट्रेनिंग क्रॉल 2.7x बढ़े और holdout पर 2.2x. दोनों के बीच का फासला 22% है.
हर रेखा को इस तरह इंडेक्स किया गया है कि उसका अपना प्री-लॉन्च औसत 100 हो, इसलिए दोनों बराबरी से शुरू होती हैं. विंडो में दोनों दोगुने से ज्यादा हो जाती हैं, holdout समेत, जिसे कुछ नहीं मिला था. सिर्फ वे 22% जिनके फासले पर वे खत्म होती हैं, ट्रेनिंग पेजों के खाते में जा सकते हैं.
कच्चे साप्ताहिक आंकड़ों में ट्रीटेड कैटेगरी 630 क्रॉल प्रति सप्ताह से 1,690 पर पहुंची, यानी 2.7x बढ़त. उन्हीं हफ्तों में अछूता कंट्रोल 1,670 से 3,650 पर पहुंचा, यानी 2.2x बढ़त, और उसे एक भी ट्रेनिंग पेज नहीं मिला था.
इस समय लगभग हर साइट पर AI क्रॉलिंग चढ़ रही है, इसलिए आप जो भी बदलाव शिप करेंगे उसके बाद क्रॉल बढ़ते दिखेंगे. अकेली बढ़त इसलिए बहुत कम जानकारी देती है. जानकारी इस बात में है कि आप एक ऐसी तुलनीय कैटेगरी से तेज बढ़ें जिसे छुआ नहीं गया.
ट्रीटेड कैटेगरी कंट्रोल से 17% ज्यादा बढ़ी.
वही डेटा, चढ़ते ज्वार को भाग देकर हटा दिया गया. ट्रीटेड कैटेगरी को कंट्रोल से भाग दिया गया, फिर इस तरह इंडेक्स किया गया कि प्री-लॉन्च औसत 100 हो. 100 से ऊपर का मतलब है कि वह बाकी साइट से तेज बढ़ी.
लॉन्च से पहले रेखा बिना किसी रुझान के 100 के आसपास भटकती है, और एक वैध कंट्रोल ऐसा ही दिखता है: दोनों कैटेगरी साथ-साथ चल रही थीं. लॉन्च के बाद वह ऊपर उठती है और ऊपर ही बनी रहती है. रेखा का अपना पोस्ट-लॉन्च औसत 114 है. औपचारिक अनुमान, जो अनुपातों के औसत के बजाय लॉग-स्केल रिग्रेशन है, +16.8% है, और उसका 95% कॉन्फिडेंस अंतराल +7.8% से +26.4% है. दो अलग अनुमानक, दोनों एक ही दायरे में उतरते हैं.
नीली रेखा और छायांकित पट्टी अलग-अलग चीजें हैं. रेखा एक दैनिक अनुपात है और उसका कोई एक दिन बहुत कम मायने रखता है. पट्टी पूरे पोस्ट-लॉन्च विंडो में अनुमानित औसत बढ़त है, और उसकी ऊंचाई उस औसत के इर्द-गिर्द की अनिश्चितता है. निष्कर्ष पट्टी है. रेखा का आखिरी बिंदु नहीं.
हमने निष्कर्ष को कैसे परखा: तीन टेस्ट, और वह तीनों में टिका.
एक टेस्ट का अच्छा आंकड़ा देना अपने आप में ज्यादा मायने नहीं रखता. ये वे तीन हैं जो हमने इसके खिलाफ चलाए.
46 गढ़ी हुई लॉन्च तारीखों से कुछ नहीं निकला.
हमने पूरा विश्लेषण 46 ऐसी लॉन्च तारीखों पर दोबारा चलाया जो हमने खुद गढ़ी थीं. जो तरीका उन पर असर ढूंढ ले, वह शोर में असर ढूंढ रहा है. उन 46 में से किसी ने भी असली असर जितना बड़ा असर नहीं दिया.
कोई एक पेज नतीजे को नहीं ढो रहा.
हमने 13 पेजों में से एक-एक को बारी-बारी हटाकर विश्लेषण दोहराया. नतीजा हर बार टिका, +10% से +19% के दायरे में. कोई एक पेज इस निष्कर्ष को नहीं ढो रहा.
अनुमान सेटिंग्स बदलने पर भी स्थिर है.
अलग-अलग विंडो लंबाइयां और ऑटोकोरिलेशन लैग अनुमान को कुछ अंक इधर-उधर करते हैं और निष्कर्ष कभी नहीं बदलते.
एक पैटर्न अलग से दिखाने लायक है. क्रॉलिंग एक मजबूत साप्ताहिक चक्र पर चलती है, और लॉन्च के बाद का बदलाव पूरे हफ्ते में बहुत असमान है. जो भी तुलना हफ्ते के एक ही दिन को एक जैसे मिलान पर नहीं रखती, वह आंशिक रूप से कैलेंडर को माप रही है.
शनिवार गिरा. बाकी हर दिन बढ़ा, और सबसे ज्यादा गुरुवार और रविवार.
एक सुधार, और उसे साफ-साफ कहना जरूरी है. ऐसा कोई भी नतीजा सैद्धांतिक रूप से संयोग हो सकता है, इसलिए पहला काम यह पूछना है कि वह संयोग कितना बड़ा होना चाहिए. हमारे पहले अनुमान के मुताबिक सिर्फ किस्मत से यह नतीजा मिलने की संभावना करीब 1 in 3,000 थी.
placebo test ने बताया कि वह आंकड़ा हमारे पक्ष में कुछ ज्यादा ही उदार था. जब हमने वही गणित उन तारीखों पर लगाया जहां कुछ हुआ ही नहीं था, तब भी वह जरूरत से कहीं ज्यादा बार नतीजा होने का दावा करता रहा, यानी यह तरीका जितना दिखाता है उससे कहीं आसानी से प्रभावित हो जाता है. हमने अपने भरोसे को उसी हिसाब से घटाया. संभावना का ईमानदार बयान 1 in 50 के करीब है. यह अब भी असली नतीजा है, बस पहले वाले से ज्यादा संयत दावा.
पकड़ने लायक आंकड़ा संभावना नहीं है. दायरा है. बढ़त का हमारा सबसे अच्छा अनुमान 17% है, और उसके इर्द-गिर्द का दायरा 8% से 26% तक जाता है. यही वह वाक्य है जिसका हम बचाव करेंगे: ट्रेनिंग पेजों ने 8% और 26% के बीच कहीं ज्यादा क्रॉलिंग पैदा की, और सबसे संभावित आंकड़ा करीब 17% है.
अतिरिक्त क्रॉलिंग उन प्रोडक्ट्स पर उतरी जो in stock थे.
कैटेगरी का औसत इसका असली आकार छिपा लेता है. 13 प्रोडक्ट पेजों में तोड़कर देखें तो अतिरिक्त क्रॉलिंग बहुत असमान रूप से उतरती है.
स्मूदिंग से पहले पेजों को साथ जोड़ना ही इसे पढ़ने लायक बनाता है. एक अकेले प्रोडक्ट पेज को दिन में गिने-चुने क्रॉल मिलते हैं, और उसकी अकेली रेखा ज्यादातर उछल-कूद है. साथ जोड़ने पर, in stock वाले दस पेज पूरे वसंत सपाट रहते हैं और फिर लॉन्च के बाद ऊपर चढ़ जाते हैं. out of stock वाले तीन पेज कुछ और ही करते हैं, और वह ठीक वैसी कहानी नहीं है जैसी हमने सोची थी.
out of stock वाली रेखा ट्रेनिंग पेजों के अस्तित्व में आने से पहले ही फिसल रही थी. वह लॉन्च की तारीख पर नीची आती है और उसके बाद और गिरती है. हम इस पूरी गिरावट को ट्रेनिंग पेजों के खाते में नहीं डाल सकते, और डालेंगे भी नहीं. उसका कुछ हिस्सा पहले शुरू हुआ था, ऐसे कारणों से जिन्हें इस अध्ययन ने मापा नहीं.
पेज दर पेज शोर साफ दिखता है, और इसे दिखाने का मकसद यही है. अलग-अलग पैनल कुछ भी शिप होने से पहले ही अपने बेसलाइन से दोनों दिशाओं में दूर तक भटकते हैं. उस शोर से जो बचता है वह विंडो के अंत का हिसाब है.
और बात सिर्फ स्टॉक की स्थिति की नहीं है. याद रखिए कि तेरह में से केवल छह पेजों को अपना डीप-डाइव ब्लॉक मिला था. पेजों को इस आधार पर छांटिए कि ट्रेनिंग पेज ने उन्हें असल में क्या दिया, और एक साफ ढाल दिखने लगती है.
जिन पेजों को अपना लिखित ब्लॉक मिला उन्होंने सबसे ज्यादा पाया. जो पेज सिर्फ एक ऐसे पेज से लिंक थे जो समृद्ध हुआ, उन्होंने भी पाया, और यही ज्यादा चौंकाने वाला आधा हिस्सा है: फायदा उठाने के लिए प्रोडक्ट को अपनी कॉपी की जरूरत नहीं. out of stock पेजों ने दोनों ही सूरतों में जमीन खोई.
तीनों out of stock पेजों ने पूरी विंडो में क्रॉल ध्यान खोया. in stock वाले दस में से नौ ने पाया. अपवाद, Pandora, एक प्रमुख प्रोडक्ट के बजाय कम मूल्य वाली लाइन आइटम है, और वह 32% गिरा.
यह दावा 13 डेटा पॉइंट पर टिका है और हमने इसकी भविष्यवाणी पहले से नहीं की थी. यहां कोई भी अकेला पेज अपने आप में सार्थक नहीं है और हमने किसी पर कोई p-value नहीं लगाया है. out of stock की गिरावट का कुछ हिस्सा लॉन्च से पहले का भी है, जैसा साझा चार्ट दिखाता है. यह किसी दूसरी कैटेगरी पर ठीक से जांचने लायक सुराग है, नतीजा नहीं.
निष्कर्ष ट्रेनिंग क्रॉल तक सीमित है. वह इससे आगे नहीं जाता.
यह डिजाइन क्या अच्छी तरह मापता है, और कहां जाकर उसका दम टूट जाता है.
ट्रेनिंग क्रॉल ही वह मीट्रिक है जिसे यह अध्ययन ढो सकता है. दैनिक गिनतियां पर्याप्त बड़ी हैं, holdout साफ है, और असर हर उस टेस्ट में टिका जो हमने उस पर चलाया. इस रिपोर्ट की हर बात इसी बारे में है कि AI क्रॉलर ने इन पेजों को कितनी बार फेच किया, और इससे ज्यादा कुछ नहीं.
आगे का व्यवहार अलग सवाल है. AI असिस्टेंट से आए रेफरल holdout के मुकाबले +9% रहे, लेकिन यह डिजाइन भरोसे से जो सबसे छोटा बदलाव पकड़ सकता है वह करीब ±72% है, इसलिए वह आंकड़ा नतीजे के भेस में शोर है. हम इसे निष्कर्ष के रूप में रिपोर्ट नहीं करेंगे. क्रॉल के बाद क्या होता है, यह मापने के लिए या तो कहीं ज्यादा ट्रैफिक चाहिए या कहीं ज्यादा समय, और शायद दोनों.
एक कैटेगरी कोई नियम नहीं है. यह एक ट्रीटेड कैटेगरी है जिसे आठ हफ्तों तक एक holdout के मुकाबले मापा गया. यह कहने के लिए काफी है कि यहां तंत्र ने काम किया. यह कहने के लिए काफी नहीं कि किसी दूसरे कैटलॉग में, किसी दूसरे वर्टिकल में, या एक साल बाद असर कितना बड़ा होगा.
अपना पहला LLM ट्रेनिंग पेज बनाना: उस पर क्या रखें, और कैसे जानें कि उसने काम किया.
यही वह पेज है जिसे हमने मापा, बिल्ड स्पेक के रूप में बताया गया, और साथ में वह मापन सेटअप जिस पर हम किसी के कुछ भी शिप करने से पहले अड़ेंगे.
जिस पेज ने 17% की बढ़त दी वह एक category listing page है जिसके प्रोडक्ट ग्रिड के नीचे prerendered HTML का एक लंबा, सुव्यवस्थित ब्लॉक है. इसमें कोई तिकड़म नहीं. नीचे दिए कदम बताते हैं कि वह पेज किन चीजों से बना है, उसी क्रम में जिसमें हम उसे दोबारा बनाएंगे.
इसे कैटेगरी पेज पर, ग्रिड के नीचे रखिए
किसी नए URL पर नहीं, और किसी टैब या अकॉर्डियन के पीछे छिपाकर नहीं. जिस पेज को आप समृद्ध कर रहे हैं वही पहले से रेंज के हर प्रोडक्ट से लिंक करता है, और क्रॉलर आगे उन्हीं प्रोडक्ट लिंक का पीछा करता है.
पहले उबाऊ टेक्निकल SEO निपटाइए, क्योंकि उसके बिना यह कुछ भी काम नहीं करता
पेज पढ़ा जा सके, उससे पहले उस तक पहुंचा जाना जरूरी है. पक्का कीजिए कि वह 200 लौटाता है और जिन AI यूजर-एजेंट की आपको परवाह है उनके लिए robots.txt में ब्लॉक नहीं है, कि वह XML sitemap में है, कि वह अनाथ होने के बजाय कहीं असली जगह से लिंक है, कि canonical खुद उसी की ओर इशारा करता है, और कि वह noindex नहीं है. इस रिपोर्ट का हर आंकड़ा इस पर निर्भर है कि क्रॉलर पेज तक पहुंच सका, और अगर वह न पहुंच सके तो लिखा हुआ कुछ भी मायने नहीं रखता.
उसे prerender कीजिए. यही वह हिस्सा है जो वैकल्पिक नहीं है
टेक्स्ट उसी HTML में होना चाहिए जो सर्वर से आता है. अगर क्रॉलर को आपका कंटेंट देखने के लिए JavaScript चलाना पड़े, तो मान लीजिए वह आपका कंटेंट नहीं देखेगा. JavaScript बंद करके पेज फेच कीजिए और पढ़िए कि क्या वापस आता है. वही आपका ट्रेनिंग पेज है.
यहां कुछ भी किसी एक प्लेटफॉर्म के लिए खास नहीं है. category listing page आखिर category listing page ही है, और हर बड़ा ईकॉमर्स स्टैक उसे सर्वर पर रेंडर कर सकता है. बदलता सिर्फ यह है कि उसे कौन सी चीज तोड़ सकती है.
टेस्ट हर जगह एक ही है और उसमें एक मिनट लगता है: JavaScript बंद करके पेज मंगाइए और पढ़िए कि क्या वापस आता है. अगर ब्लॉक उस HTML में नहीं है, तो इस अध्ययन के लिहाज से उसका कोई अस्तित्व नहीं है.
हर उस प्रोडक्ट के लिए एक ब्लॉक जिसे आप सचमुच बेचना चाहते हैं, करीब 400 शब्द
यहां छह प्रोडक्ट को एक ब्लॉक मिला, औसतन करीब 400 शब्द. हर एक ने वही ढांचा अपनाया: एक "यह किस वजह से अलग है" सेक्शन, फिर एक स्पेसिफिकेशन टेबल. प्रोडक्ट्स में दोहराव खूबी है. इससे पूरी रेंज को पढ़ना और उसकी तुलना करना आसान हो जाता है.
पिच को करीब छह अलग-अलग शीर्षकों वाले कारणों में बांटिए
बुलेट सूची नहीं, और एक बहती हुई पैराग्राफ भी नहीं. हर कारण को अपना उपशीर्षक और उसके नीचे करीब 30 शब्द मिलते हैं. शीर्षक को उस चीज का नाम लेना चाहिए जिसका वह जवाब देता है, ताकि जवाब अकेले उठाकर भी अर्थपूर्ण रहे.
हर प्रोडक्ट को एक स्पेसिफिकेशन टेबल दीजिए
करीब 14 एट्रिब्यूट पंक्तियां: वह सब जो कोई खरीदार आपके दो प्रोडक्ट्स में से चुनने से पहले सचमुच तुलना करेगा. टेबल तथ्य और उस तथ्य का लेबल एक ही पंक्ति में रखती है, इसीलिए वह उसी जानकारी को गद्य में लिखने के मुकाबले एक्सट्रैक्शन में कहीं बेहतर टिकती है.
पूरी रेंज पर एक तुलना टेबल जोड़िए
वही एट्रिब्यूट, हर प्रोडक्ट, कीमत सहित. यह पेज की सबसे ज्यादा उद्धृत होने लायक चीज है: यह "मुझे कौन सा लेना चाहिए" का जवाब है, और लोग असिस्टेंट से यही पूछते हैं.
चार या पांच असली खरीदारी सवालों के साथ खत्म कीजिए
सवाल शीर्षक के रूप में, जवाब करीब 100 शब्द के, और जहां टेबल मदद करे वहां जवाब के भीतर एक छोटी टेबल. वे सवाल लिखिए जो आपकी सेल्स टीम से पूछे जाते हैं, वे नहीं जो कोई कीवर्ड टूल सुझाता है.
इसे उन प्रोडक्ट्स की ओर मोड़िए जिन्हें आप सचमुच बेच सकते हैं
इस अध्ययन के हर out of stock पेज ने क्रॉल ध्यान खोया जबकि in stock पेजों ने पाया. यह बंटवारा अप्रमाणित है और गिरावट का कुछ हिस्सा लॉन्च से पहले का है, पर इस पर अमल करने में कुछ खर्च नहीं होता. उन प्रोडक्ट्स का प्रचार करने में क्रॉल बजट मत खर्चिए जिन्हें कोई खरीद ही नहीं सकता.
कुछ भी बनाने से पहले holdout चुनिए
समान आकार और ट्रैफिक वाली एक तुलनीय कैटेगरी चुनिए, और लिखित में तय कीजिए कि इस तिमाही उसे ट्रेनिंग पेज नहीं मिलेंगे. इसके बिना आप अपने असर को AI क्रॉलिंग में हो रही उद्योग-व्यापी वृद्धि से अलग नहीं कर पाएंगे, और अंत में उसी वृद्धि को ऐसे रिपोर्ट करेंगे जैसे वह आपने पैदा की हो.
पहले कम से कम आठ हफ्तों का बेसलाइन इकट्ठा कीजिए
आपको इतना इतिहास चाहिए कि दिखा सकें कि दोनों कैटेगरी एक जैसी चल रही थीं, इससे पहले कि आपने उनमें से एक को बदला. अगर वे पहले से ही अलग-अलग दिशाओं में जा रही थीं, तो तुलना बेकार है, और यह आप सिर्फ बेसलाइन से ही जान सकते हैं.
AI क्रॉलर हिट को edge पर, प्रति URL, प्रति दिन लॉग कीजिए
सर्वर या CDN लॉग, JavaScript एनालिटिक्स टैग नहीं: जिन क्रॉलर की आपको परवाह है वे टैग कभी नहीं चलाते. दैनिक ग्रैन्युलैरिटी बनाए रखिए. विश्लेषण की इकाई दिन ही होगी, क्योंकि एक क्रॉलर सेशन एक ही झोंके में सैकड़ों रिक्वेस्ट भेज सकता है और हिट गिनने पर लगभग कुछ भी सार्थक दिखने लगेगा.
WISLR AI Channel Analytics इसी काम के लिए बनाया गया है. यह AI क्रॉलर ट्रैफिक को edge पर, प्रति URL और प्रति दिन पढ़ता है, किसी थर्ड-पार्टी अनुमान के बजाय आपके अपने लॉग से, और यही वह डेटा है जिस पर इस रिपोर्ट का हर आंकड़ा टिका है. अगर आप पाइपलाइन खुद जोड़ना नहीं चाहते, तो यही शॉर्टकट है.
फासला रिपोर्ट कीजिए, कच्ची बढ़त कभी नहीं
आपके क्रॉल बढ़ेंगे. holdout के भी. ईकॉमर्स लीडरशिप के सामने रखने लायक इकलौता आंकड़ा दोनों के बीच का अंतर है, और जो रिपोर्ट आपको तुलना समूह के बिना क्रॉल बढ़त दिखाती है, वह आपको नतीजा नहीं, बस एक चार्ट दिखा रही है.
एक तिमाही बाद दोबारा मापिए
इस अध्ययन के सबसे मजबूत हफ्ते आखिरी दो थे. यह या तो चक्रवृद्धि असर है, क्योंकि क्रॉलर रेंज को दोबारा इंडेक्स कर रहे हैं, या फिर शोर है, और आठ हफ्ते यह फर्क नहीं बता सकते. फॉलो-अप अभी तय कर लीजिए, जब holdout अब भी मौजूद है.
हम यह अध्ययन आपके कैटलॉग पर चला सकते हैं.
हम ट्रेनिंग पेज बनाते हैं, कुछ भी शिप होने से पहले एक तुलनीय कैटेगरी को बेसलाइन के तौर पर रोक कर रखते हैं, और उसके सापेक्ष मापते हैं कि पेजों ने क्या किया. 2.7x बढ़त रिपोर्ट करने और उसमें से वे 22% रिपोर्ट करने में यही फर्क है जो आपने सचमुच पैदा किए.