LLM eğitim sayfaları gerçekten işe yarıyor mu?

Bir kategori eğitim sayfası aldı. Benzer bir kategori almadı.

Müşterimiz Mayıs 2026'da bir ürün kategorisi için ön işlenmiş LLM eğitim sayfalarını yayına aldı. Benzer büyüklükteki ikinci bir kategori, referans çizgisi olarak kullanılabilsin diye dağıtımın dışında tutuldu. Bu rapordaki her şey o kontrol grubuna göre ölçülüyor.

Buradaki "eğitim sayfası", bir AI tarayıcısının JavaScript çalıştırmadan tüm ürün hikâyesini okuyabilmesi için kurulmuş, ön işlenmiş ve sunucuda üretilen bir sayfadır: teknik özellikler, karşılaştırmalar ve sade dille yazılmış yanıtlar, gövde içeriğinden her ürün sayfasına giden bağlantılarla birlikte. Soru şu: bunları yayına almak bir tarayıcının davranışında bir şey değiştiriyor mu?

Buna yanıt vermek göründüğünden zor, çünkü AI taraması her yerde yükseliyor. Mayıs'ta eğitim sayfalarını yayına alıp Haziran'da taramaların arttığını görürseniz çok az şey öğrenmiş olursunuz. Zaten ne olacağını bilmeniz gerekir. Kontrol kategorisi bunu sağlar: işlem gören kategorinin hiçbir şey yayına alınmasaydı ne yapacağına dair elde edilebilecek en yakın tahmindir.

Metrik AI eğitim taramaları: her kategorinin listeleme sayfasının gövde içeriğinden bağlantı verdiği ürün sayfalarına AI eğitim tarayıcılarından gelen isabetler. Navigasyon, üst bilgi ve alt bilgi bağlantıları hariç tutuldu, yani eğitim sayfasının fiilen işaret ettiği sayfalardaki taramaları sayıyoruz.

Gözlem birimi isabet değil, gün. Tek bir tarayıcı oturumu tek seferde yüzlerce istek üretebilir, dolayısıyla 17,030 isabeti 17,030 bağımsız gözlem gibi ele almak neredeyse her şeyi anlamlı gösterirdi. Aşağıdaki grafiklerde 118 gün, istatistiksel pencerelerin içinde ise yayının her iki tarafında 57'şer gün var.

Bir model sayfalarınızı bir kez okuduğunda, onları aramaya gerek duymadan önerebilir.

Eğitim taraması, ürün bilgilerinizi modelin içine taşır; böylece asistan web'e çıkmak yerine hafızasından yanıt verebilir. Bu çalışmanın hareket ettirdiği metrik budur.

Pratikte şöyle görünüyor. Biri bir asistana bunlardan hangisini alması gerektiğini sorar. Asistan, ürününüzü adıyla anarak, ne yaptığını ve kime uygun olduğunu anlatarak ve alternatifle karşılaştırarak yanıt verir; hepsini zaten öğrendiklerinden yapar. Ortada çekilen bir sayfa, bir alıntı ya da bir kaynak bağlantısı yoktur. Model ürün yelpazenizi başka her şeyi bildiği gibi bilir ve bu bilgi, aylar önce bir eğitim tarayıcısının okuyup içine aldığı sayfalardan gelmiştir.

Bir asistanın yanıtın ortasında sayfayı çekip alıntıladığı canlı erişim, içeri girmenin diğer yoludur. Önemlidir ve aynı yerde başlar: bir tarayıcı sunucunuzdan bir sayfa ister ve okuyabileceği bir şey alır.

Ona bir JavaScript kabuğu uzatırsanız ikisinde de yoksunuz. Model ürününüzün ne yaptığını öğrenmez, erişim katmanının çekecek bir şeyi olmaz ve bir alışverişçi asistandan ürün yelpazenizi bir rakiple karşılaştırmasını istediğinde asistan elindekilerle yanıt verir. Elindeki genellikle bir pazaryeri ilanı, bir inceleme sitesi ya da rakibinizdir.

Bu sayının neden önemli olduğunun dürüst versiyonu bu ve ondan ne iddia ettiğimiz konusunda dikkatli olmamızın nedeni de aynı. Bu çalışma, eğitim sayfalarının sayfaların daha sık okunmasını sağladığını kanıtlıyor. Herhangi bir modelin okuduğuyla ne yaptığını kanıtlamıyor. Aksini iddia etmeyeceğiz ve bir tarama grafiğinden doğrudan gelir vaadine atlayan bir rapora güvenmemelisiniz.

Taramayı yine de kovalamaya değer kılan şey, zincirde doğrudan üzerinde hareket edebileceğiniz tek halka olması. Bir modele sizi alıntılatamazsınız. Sunucunuzun bir tarayıcıya ne vereceğine karar verebilir ve sonrasında ne olduğunu sayabilirsiniz.

Yaklaşık 3,000 kelimelik ön işlenmiş içerik ürün ızgarasının altında duruyor.

"LLM eğitim sayfası" muğlak bir ifade, o yüzden yayındaki sayfayı parçalarına ayırıp üzerinde ne olduğunu saydık.

Listeleme sayfası üstteki normal ürün ızgarasını koruyor. Izgaranın altındaki her şey eğitim içeriği: bir tarayıcının JavaScript çalıştırmadan okuyabileceği ön işlenmiş HTML. Yaklaşık 3,000 kelime tutuyor, yani sayfadaki gövde metninin yaklaşık 77%'si.

Yapı bilerek kendini tekrar ediyor. Her ürün incelemesi aynı biçime sahip: ayrı başlıklar taşıyan altı gerekçeye bölünmüş bir "bu ürünü farklı kılan nedir" bölümü, ardından bir teknik özellik tablosu. Bunu okuyan bir modelin çıkarım yapacağı pek bir şey kalmıyor, çünkü her yanıt yanıtladığı soruyu adıyla anan bir başlığın altında kendi kendine yeten bir parça olarak zaten duruyor.

AI görünürlüğü tavsiyelerinin büyük kısmı aslında şema tavsiyesi, o yüzden şemayı dışarıda bıraktık. Ürünlere giden metin içi bağlantılar da aynı nedenle eklenmedi. Ne hareket ettiyse, içerik HTML'in içinde olduğu, başlıklar ve tablolar halinde düzenlendiği ve tarayıcı olmadan okunabildiği için hareket etti. Bu bize üzerine inşa edebileceğimiz temiz bir zemin veriyor: sıradaki test iç bağlantıları ekliyor, ondan sonraki yapılandırılmış veriyi ekliyor ve her seferinde her şeyi birden yayına alıp hangi parçanın işi yaptığını tahmin etmek yerine eklenen parçanın tek başına ne değer ürettiğini ölçebiliyoruz.

Bilerek dışarıda bırakılan bir şey daha: bağlantı verilen 13 ürün sayfasının yalnızca 6'sı kendine ait bir inceleme bloğu aldı. Diğer yedisi yalnızca ızgaradan bağlantı alıyor, o kadar. Bu bir gözden kaçırma değildi. Böylece kendine ait hiçbir metni olmadan zenginleştirilmiş bir sayfada bulunmanın faydasını gören yedi sayfa kalıyor ve bu, çalışmanın en işe yarar karşılaştırmalarından biri çıkıyor.

Eğitim taramaları işlem gören kategoride 2.7x, kontrol grubunda 2.2x arttı. Aralarındaki fark 22%.

Her çizgi, kendi yayın öncesi ortalaması 100 olacak şekilde endekslendi, böylece ikisi de aynı seviyeden başlıyor. Hiçbir şey almayan kontrol grubu dahil ikisi de pencere boyunca iki katından fazla artıyor. Yalnızca aralarında kalan 22%'lik fark eğitim sayfalarına yazılabilir.

Ham haftalık sayılarda işlem gören kategori haftada 630 taramadan 1,690 taramaya çıktı, yani 2.7x arttı. Aynı haftalarda dokunulmamış kontrol grubu hiç eğitim sayfası almadan 1,670'ten 3,650'ye çıktı, yani 2.2x arttı.

Şu sıralar AI taraması neredeyse her sitede tırmanıyor, dolayısıyla yayına aldığınız hemen her değişikliğin ardından taramalarda bir yükseliş görülecek. Bu yüzden tek başına bir yükseliş çok az bilgi taşır. Bilgi taşıyan şey, kendi haline bırakılmış benzer bir kategoriden daha hızlı büyümektir.

İşlem gören kategori kontrol grubunu 17% geride bıraktı.

Yükselen dalga dışarı bölündükten sonra aynı veri. İşlem gören kategori kontrol grubuna bölünüyor, ardından yayın öncesi ortalaması 100 olacak şekilde endeksleniyor. 100'ün üstü, sitenin geri kalanından daha hızlı büyüdüğü anlamına gelir.

Yayından önce çizgi hiçbir eğilim göstermeden 100 civarında dolaşıyor; geçerli bir kontrol grubu böyle görünür: iki kategori birlikte hareket ediyordu. Yayından sonra yükseliyor ve yükselmiş halde kalıyor. Çizginin kendi yayın sonrası ortalaması 114. Oranların ortalaması değil logaritmik ölçekli bir regresyon olan resmi tahmin ise 95% güven aralığı +7.8% ile +26.4% arasında olacak şekilde +16.8%. İki farklı tahminci, ikisi de aynı bandın içine düşüyor.

Mavi çizgi ile gölgeli bant farklı nesneler. Çizgi günlük bir oran ve tek bir günü çok az şey ifade eder. Bant, yayın sonrası pencerenin tamamındaki tahmini ortalama artıştır ve yüksekliği o ortalamanın etrafındaki belirsizliktir. Bulgu banttır. Çizginin son noktası değil.

Bulguyu nasıl doğruladık: üç test ve üçünden de sağ çıktı.

Tek bir testin iyi bir sayı vermesi kendi başına pek bir anlam taşımaz. Bulguya karşı uyguladığımız üç test şunlar.

Bir örüntüyü ayrıca göstermeye değer. Tarama güçlü bir haftalık döngüyle işliyor ve yayın sonrasındaki değişim hafta içinde çok dengesiz. Hafta gününde birebir eşleşmeyen her karşılaştırma, kısmen takvimi ölçüyordur.

Bir düzeltme var ve açıkça yazmaya değer. Bunun gibi her sonuç ilkesel olarak bir rastlantı olabilir, o yüzden ilk yaptığımız şey bunun ne büyüklükte bir rastlantı olması gerektiğini sormak. İlk hesabımız, bunu sırf şansla elde etme ihtimalinin yaklaşık 3,000'de 1 olduğunu söylüyordu.

Plasebo testi bize bu sayının fazla iltifatkâr olduğunu gösterdi. Aynı matematiği hiçbir şeyin olmadığı tarihlere yönelttiğimizde, olması gerekenden çok daha sık bir sonuç bulduğunu iddia etti; yani yöntem göründüğünden daha kolay etkileniyor. Kendi güvenimizi buna göre aşağı çektik. İhtimalin adil bir ifadesi 50'de 1'e daha yakın. Bu hâlâ gerçek bir sonuç, sadece ilkinden daha ölçülü bir iddia.

Tutunulacak sayı ihtimal değil. Aralık. Artışa dair en iyi tahminimiz 17% ve etrafındaki ayraç 8% ile 26% arasında. Savunacağımız cümle şu: eğitim sayfaları 8% ile 26% arasında bir yerde daha fazla tarama üretti ve büyük olasılıkla bu 17% civarında.

Ek tarama, stokta olan ürünlerin üzerine düştü.

Kategori ortalaması bunun biçimini gizliyor. 13 ürün sayfasına ayrıştırıldığında ek tarama çok dengesiz dağılıyor.

Sayfaları düzleştirmeden önce havuzlamak bunu okunur kılan şey. Tek bir ürün sayfası günde bir avuç tarama alıyor ve onun tek çizgisi çoğunlukla titreşimden ibaret. Toplandığında, stokta olan on sayfa bahar boyunca yatay kalıyor, sonra yayının ardından bir basamak yukarı çıkıyor. Stokta olmayan üç sayfa ise başka bir şey yapıyor ve bu tam da beklediğimiz hikâye değil.

Stok dışı çizgi eğitim sayfaları daha var olmadan kaymaya başlamıştı bile. Yayın tarihine düşük giriyor ve sonrasında daha da düşüyor. Bu düşüşün tamamını eğitim sayfalarına yükleyemeyiz ve yüklemeyeceğiz. Bir kısmı daha önce, bu çalışmanın ölçmediği nedenlerle başladı.

Sayfa sayfa bakıldığında gürültü çok belirgin ve zaten bunu göstermenin amacı da bu. Tek tek paneller, hiçbir şey yayına alınmadan önce bile kendi referans çizgilerinden iki yöne doğru epeyce uzaklaşıyor. O gürültüden sağ çıkan şey, pencerenin sonundaki toplam.

Mesele yalnızca stok durumu da değil. On üç sayfanın yalnızca altısının kendine ait bir inceleme bloğu aldığını hatırlayın. Sayfaları eğitim sayfasının onlara fiilen ne verdiğine göre sıralayın, bir eğim ortaya çıkıyor.

En çok kazanan, kendine ait yazılı bir bloğu olan sayfalar oldu. Yalnızca zenginleşen bir sayfadan bağlantı alan sayfalar da kazandı ve daha şaşırtıcı olan yarısı bu: bir ürünün fayda görmesi için kendine ait metne ihtiyacı yok. Stokta olmayan sayfalar her iki durumda da geriledi.

Stokta olmayan üç sayfanın üçü de pencere boyunca tarama ilgisini kaybetti. Stokta olan on sayfanın dokuzu kazandı. İstisna olan Pandora, ana üründen çok düşük değerli bir kalem ve 32% düştü.

Bu iddia 13 veri noktasına dayanıyor ve bunu önceden öngörmedik. Buradaki hiçbir sayfa tek başına anlamlı değil ve hiçbirine p değeri iliştirmedik. Havuzlanmış grafiğin gösterdiği gibi, stok dışı düşüşün bir kısmı yayından da önce başlıyor. Bu bir sonuç değil, başka bir kategoride düzgün biçimde test edilmeye değer bir ipucu.

Bulgu eğitim taramalarını kapsıyor. Bundan öteye uzanmıyor.

Bu tasarımın iyi ölçtüğü şeyler ve nerede tükendiği.

Bu çalışmanın taşıyabileceği metrik eğitim taramaları. Günlük sayılar yeterince büyük, kontrol grubu temiz ve etki uyguladığımız her testten sağ çıkıyor. Bu rapordaki her şey, AI tarayıcılarının bu sayfaları ne sıklıkla çektiğine dair bir ifade ve bundan fazlası değil.

Sonraki adımdaki davranış ayrı bir soru. AI asistanlarından gelen yönlendirmeler kontrol grubuna karşı +9% olarak geldi, ancak bu tasarımın güvenilir biçimde saptayabileceği en küçük değişim yaklaşık ±72%, yani o sayı sonuç kılığına girmiş gürültü. Bunu bir bulgu olarak raporlamayacağız. Taramadan sonra ne olduğunu ölçmek ya çok daha fazla trafik ya çok daha fazla zaman, muhtemelen de ikisini birden gerektiriyor.

Tek bir kategori bir yasa değildir. Bu, tek bir kontrol grubuna karşı sekiz hafta boyunca ölçülmüş tek bir işlem gören kategori. Mekanizmanın burada işlediğini söylemeye yeter. Etkinin başka bir katalogda, başka bir sektörde ya da bir yıl sonra ne büyüklükte olacağını söylemeye yetmez.

İlk LLM eğitim sayfanızı kurmak: içine ne konur ve işe yarayıp yaramadığı nasıl anlaşılır.

Bu, ölçtüğümüz sayfanın bir yapım şartnamesi olarak anlatımı ve üstüne, kimse bir şey yayına almadan önce ısrarla isteyeceğimiz ölçüm kurulumu.

17% artış üreten sayfa, ürün ızgarasının altında uzun ve iyi düzenlenmiş bir ön işlenmiş HTML bloğu bulunan bir kategori listeleme sayfası. İçinde hiçbir numara yok. Aşağıdaki adımlar, o sayfanın nelerden oluştuğunu yeniden kuracak olsak izleyeceğimiz sırayla anlatıyor.