AI Crawlers Also Reach You by Following Backlinks
Bir tarayıcı adli inceleme hipotezi. Sunucu kayıtlarınız, AI'nın markanız hakkında söylediklerini beslemesi en muhtemel üçüncü taraf sayfaların kabaca bir dizinini zaten barındırıyor. Neredeyse kesinlikle veriyi topluyor ve sinyali çöpe atıyorsunuz.
Çoğu kişi AI tarayıcılarını Googlebot gibi hayal eder: sitemap'inizi okur, iç bağlantılarınızı gezer ve sayfalarınızı dizine ekler. Bu gerçekten olur. Ama GPTBot ve diğerlerinin size ulaşmasının tek yolu bu değildir.
Ayrıca bir backlink'i takip ederek de gelirler: sizi bir rakiple karşılaştıran bir forum başlığı, hiç duymadığınız bir sitedeki bir inceleme, ürün sayfanıza bağlantı veren bir derleme yazısı. Bir AI tarayıcısı bu bağlantılardan birini takip ettiğinde, bu neredeyse gerçek zamanlı olur ve erişim kayıtlarınıza zaman damgasıyla düşer.
AI yanıtlarını hangi üçüncü taraf sayfaların biçimlendirdiğini bulmanın alışılmış yolu, ChatGPT, Perplexity ve gerisini sorgulayıp döndürdükleri JSON'dan kaynakları çekmektir. Bu işe yarar ve bunu yapmalısınız. Ama soruna dışarıdan, her seferinde tek bir sorguyla bakar. Kendi kayıtlarınız ise içeriden, sürekli ve kimsenin hız sınırlamayacağı ya da elinizden alamayacağı veriler üzerinde bakmanızı sağlar.
Most Crawlers Will Not Tell You Where They Came From
Bir backlink takibi ancak tarayıcı hangi sayfayı takip ettiğini size söylerse işe yarar ve bu tek bir yerde bulunur: tarayıcının isteğiyle gönderdiği Referer başlığı.
LLM tarayıcılarının neredeyse hiçbiri bunu göndermez. Sayfanızı çeker ve nereden geldiklerine dair hiçbir şey kaydetmezler. Ziyareti görürsünüz. Kaynağı görmezsiniz.
Yani önemsediğiniz taramanın çoğu kaynağında anonimdir. Bir AI botunun ziyaret ettiğini kanıtlayabilirsiniz. Onu neyin gönderdiğini kanıtlayamazsınız. Bir tarayıcı bu boşluğu kapatır.
PetalBot Is the Exception
PetalBot, Huawei'nin Petal Search'ünün ardındaki tarayıcıdır. Bir AI laboratuvarının botu değildir. Ama neredeyse hiçbir şeyin yapmadığı bir şeyi yapar: isteklerinde referans veren URL'yi bildirir. Sizinkine ulaşmak için takip ettiği tam üçüncü taraf sayfayı, query string dahil.
Kayıtlarımızda bu davranış ara sıra görülen bir şey değil. Kuralın ta kendisi.
Tek bir PetalBot log satırı boşluğu kapatır. Sıradan bir AI tarayıcı isteği size bir botun geldiğini söyler. Bir PetalBot isteği size bir botun geldiğini ve onu gönderen sayfanın adını verir.
203.0.113.x - - [20/Jul/2026:14:22:07 +0000] "GET /products/widget-pro HTTP/1.1" 200 18244 "https://forum.example.com/thread/best-widgets-2026?sort=top" "PetalBot"
Ayrıca kayıtlarımızdaki dakikadaki tepe istek sayısına göre ölçtüğümüzde, PetalBot'u gördüğümüz daha nazik tarayıcılar arasında sıralıyoruz. Sunucunuzu zorlamıyor. Onu rahat bırakmanın operasyonel maliyeti azdır, engellemenin ise gerçek bir sinyal maliyeti vardır.
PetalBot and the LLM Crawlers Read the Same Web
Bir sonraki adım, yöntemin gözlem olmaktan çıkıp çıkarıma dönüştüğü yerdir.
PetalBot ve LLM tarayıcıları büyük ölçüde aynı web'i okuyor. Aynı bağlantıları, aynı inceleme sitelerinden, forumlardan ve karşılaştırma yazılarından takip ediyorlar, çünkü markanızdan bahseden yerler oralardır. Bu yüzden PetalBot size bir referans URL'si verdiğinde, AI tarayıcılarının da büyük olasılıkla okuduğu bir sayfayı işaret ediyor.
PetalBot referansını bildirir, LLM tarayıcıları bildirmez. Onun bildirdiğini, onların gizlediğinin yerine kullanın.
Teknik, üçgenlemedir. Hedefi doğrudan göremezsiniz, bu yüzden onunla birlikte hareket eden bir şeyi ölçersiniz. Burada ölçülebilir olan şey, zaten sahip olduğunuz bir log dosyasında duran PetalBot'un referans izidir.
Build the Graph: From Raw Logs to a Citation Shortlist
Bunların hiçbiri yeni bir araç gerektirmez. Zaten topladığınız kayıtları ve birkaç filtreleme adımını gerektirir.
Kenarda kayıt tutun ve Referer başlığını saklayın
İstekleri bir JavaScript etiketinde değil, sunucuda veya CDN'de yakalayın, çünkü tarayıcılar etiketi çalıştırmaz. Bu yöntemin tümünün dayandığı tek alan Referer'dır. Kayıt sisteminiz onu kırpıyorsa veya query string'leri buduyorsa, önce bunu düzeltin. Hiç saklamadığınız bir başlığı geri getiremezsiniz.
Üçüncü taraf referans taşıyan PetalBot isteklerine filtreleyin
PetalBot user-agent'ını eşleştirin, ardından yalnızca referansı size ait olmayan bir alan adını işaret eden istekleri saklayın. Bu site dışı referanslar sizin alıntı adaylarınızdır. Kendine referansları ve boş referansları eleyin; bu amaç için gürültüden ibaretler.
Sayfalara göre tekilleştirin, sonra alan adlarında toplayın
Aynı forum başlığı defalarca görünecektir. Yinelenen URL'leri benzersiz sayfalara indirgeyin, sonra sayfaları kendi alan adları altında gruplayın. Artık iki görünümünüz var: size bağlantı veren tekil sayfalar ve bu sayfaların yaşadığı siteler.
Yenilik ve tekrara göre ağırlıklandırın
Bu hafta elli kez görülen bir referans, geçen çeyrek bir kez görülenden üstündür. Her adayı ne sıklıkta yinelendiğine ve en son ne kadar yakın zamanda yürüdüğüne göre ağırlıklandırın. Önemli olan yarısı yeniliktir: şimdi taranan bir sayfa, şimdi dolaşımda olan bir sayfadır.
Kendi sayfalarınızdaki LLM tarayıcılarıyla çapraz kontrol edin
Zamanlamayı yan yana getirin. Bir PetalBot referansı ürün sayfanızı işaret ettiğinde, GPTBot, ClaudeBot ya da diğerlerinin aynı sayfaya aynı zaman aralığında isabet edip etmediğine bakın. Zamanlamadaki örtüşme, üçüncü taraf sayfanın AI'nın şu an sizinle ilgili okuduklarının bir parçası olduğu savını güçlendirir.
Sıralayın ve bir kısa liste olarak ele alın
Ortaya çıkan şey, tamamen birinci taraf verilerden kurulmuş, AI'nın markanızla ilgili yanıtlarını beslemesi en muhtemel üçüncü taraf sayfaların ve alan adlarının sıralı bir listesidir. Bunu kanıtlanmış bir alıntı kümesi değil, araştırılacak bir ipucu listesi olarak ele alın.
1'den 6'ya kadar olan adımlar tam olarak WISLR.ai'nin sizin için çalıştırdığı şeydir. AI tarayıcı ve PetalBot etkinliğini kenarda yakalar, referansları saklar ve bunları AI'nın markanız hakkında söylediklerini biçimlendirme olasılığı en yüksek üçüncü taraf sayfaların sıralı, her an güncel bir akışına dönüştürür, kendi sitenize isabet eden LLM tarayıcılarıyla çapraz kontrol ederek. Log uğraşı gerektirmez.
What the Graph Is Good For
Sizden bahseden sayfaların sürekli tazelenen, sıralı bir akışı, AI temellendirme hipotezi doğru olsa da olmasa da işe yarar.
Yanlış bilgiyi kaynağında düzeltin. Referans akışınızdaki bir sayfa markanız hakkında yanlış bir şey söylüyorsa ve öne çıkacak kadar sık taranıyorsa, artık tam olarak nerede yanıt vereceğinizi biliyorsunuz. Bin sitenin hangisinin önemli olduğunu artık tahmin etmiyorsunuz. Tarayıcılar hangilerinin dolaşımda olduğunu size söyledi.
Var olduğunu bilmediğiniz bahisleri keşfedin. Çoğu marka takibi, sizin oluşturduğunuz bir listeyi izler. Bu ise web'in oluşturduğu bir listeyi izler ve hiç takip etmediğiniz incelemeleri, başlıkları ve karşılaştırma sayfalarını doğrudan kendi erişim kayıtlarınızdan size verir.
What We Are Assuming, and What We Cannot See
Bu yöntemin altında iki varsayım yatar ve ikisi de teyit edilmiş değildir. Yine de kullanmaya değer, ama yalnızca nerede durduğunu bilirseniz.
PetalBot'un yolunu görebiliyoruz. OpenAI'ninkini göremiyoruz. Örtüşme makul bir bahis, çünkü ikisi de marka bahislerinin yaşadığı açık web'i tarıyor, ama yine de bir bahis. PetalBot'un referanslarının bir kısmı hiçbir AI tarayıcısının okumadığı sayfalar olacak, AI'nın okuduğu bazı sayfalar da PetalBot'un izinde hiç görünmeyecek.
Kullanılabilir. Bunun yerine eğitimi besleyebilir. Adını koymadığımız bir şeyi besleyebilir. Log verisi hangisi olduğunu bize söyleyemez ve söyleyebileceğini iddia eden herkes, kanıtın izin verdiğinden daha fazla güvenle tahmin yürütüyordur. Kayıtların kanıtladığı şey dar ve gerçektir: bir üçüncü taraf sayfa size bağlantı verdi ve bir tarayıcı onu takip etti.
Bu bir AI alıntı ölçümü değildir. Onların birinci taraf bir vekilidir, zaten topladığınız verilerden ucuza kurulmuş. Bunu tam olarak müşteriler için kurduk: kendi kayıtlarından çekilmiş, üçüncü taraf alıntı adaylarından oluşan birinci taraf bir veri kümesi. Spekülatif olan, grafiğin üzerine koyduğumuz etikettir, grafiğin kendisi değil.
Alıntı adayı akışınızı kendi kayıtlarınızdan kurabiliriz.
WISLR, AI tarayıcı davranışını kenarda, URL başına ve gün başına, sizin birinci taraf verinizde okur. Buna, PetalBot'un referans izini AI'nın markanız hakkında söylediklerini biçimlendirme olasılığı en yüksek üçüncü taraf sayfaların sıralı bir akışına çekmek ve bunu sitenize isabet eden LLM tarayıcılarıyla çapraz kontrol etmek dahildir.