AI Botları Hakkında 20 Tespit Yayımladık. Altı Ay Sonra %65'i Değişmişti.

Why We Re-Tested Our Own Insights

Mart 2026'da, tek bir mülkün 48 günlük sunucu loglarından çıkan yirmi tespiti AI bot davranışı üzerine yayımladık. Daha uzun ve daha yeni bir pencerenin onlara ne yaptığı burada.

Bot araştırmaları hızla eskir ve çoğu hiç kontrol edilmez. Ne kadar hızlı eskidiğini bilmek istedik, bu yüzden orijinal listeyi üç mülkün altı aylık loglarına karşı yeniden çalıştırdık ve her tespit için bir karar kaydettik. On yedisi yeniden test edilebildi. Bunların on biri beş ay içinde yer değiştirmişti.

Orijinal makale tam olarak olduğu gibi yayında: AI Bot Trafiği Hızla Artıyor, 48 günlük çalışma. Orada hiçbir şey sessizce düzenlenmedi. Bu yazı onun denetimi.

The 20 Takeaways, Re-Tested Six Months Later

1. 01Kaydı

   sitemap.xml dosyanız az önce daha önemli hale geldi. GPTBot ve ClaudeBot, Mart 2026'da sitemap tüketimini daha yüksek bir eşiğe taşıdı ve bir daha geri dönmedi. Sitemap'iniz eskiyse, eksikse veya dil varyantları yoksa, AI tarayıcıları içeriği kaçırır.

   Altı ay sonra 20.07.26 itibarıylaSitemap tüketimi tekrar tırmandı ve orada kaldı. ClaudeBot artık açık farkla baskın tüketici, kabaca Googlebot'un 6 katı; ayrıca her iki bot da Şubat'ta zaten sitemap çekiyordu, yani Mart bir başlangıç değil, bir tırmanış noktasıydı.

2. 02Hâlâ geçerli

   robots.txt evrensel olarak dikkate alınmıyor. GPTBot ve Meta-WebIndexer onu hiç kontrol etmiyor. AI içerik stratejiniz robots.txt yönergelerine bağlıysa, en aktif tarayıcılardan ikisinin onları tamamen yok saydığını bilin.

   Altı ay sonra 20.07.26 itibarıylaGPTBot, 6.872 içerik isteğine karşılık 2 robots.txt isteği yaptı. Meta, 3.169 istek boyunca sıfır. İkisi de doğrulandı.

3. 03Aşıldı

   ChatGPT-User trafiği, AI sohbetlerinde marka atfının doğrudan sinyalidir. Her istek, URL'nizi ChatGPT'ye yapıştıran gerçek bir kişiyi temsil eder. Bu ölçülebilir bir ağızdan ağıza yayılımdır ve hızla büyüyor.

   Altı ay sonra 20.07.26 itibarıylaBeş ayda %11 artış, arada bir düşüşle birlikte: Şubat'ta 3.827'ye karşılık Haziran'da 4.236. Sinyal gerçek; büyüme ise ölçtüğümüz pencereden sonra düzleşti.

4. 04Hâlâ geçerli

   AI botları düzenli akışlarla değil, patlamalarla tarar. GPTBot, 3 dakikalık bir pencerede dakikada 114 isteğe ulaştı. Sunucunuz patlamalı trafiği kaldıramıyorsa, AI tarayıcıları indeksleme turları sırasında kısıtlanabilir veya hata alabilir.

   Altı ay sonra 20.07.26 itibarıylaDoğrulandı ve şiddetlendi. Zirve artık dakikada 270 istek, dört bot 130'un üzerinde.

5. 05Hâlâ geçerli

   OpenAI ve Anthropic'in her biri 3 ayrı bot işletiyor. Biri eğitim/indeksleme, biri arama, biri canlı kullanıcı oturumları için. Birini engellemek diğerlerini engellemez. robots.txt dosyanızın her biri için ayrı yönergelere ihtiyacı var.

   Altı ay sonra 20.07.26 itibarıylaTavan değil, taban. OpenAI artık kendi IP aralığı listesini yayımlayan bir reklam tarayıcısı dahil en az dört bot işletiyor. Üçer bot bir sayım değil, bir taban.

6. 06Aşıldı

   Görselleri hacimli biçimde çeken tek botlar OAI-SearchBot ve Googlebot. Makale görselleriniz anlamlı içerik taşıyorsa (grafikler, diyagramlar, veri görselleştirmeleri), onları arama sonuçlarında kullanacak botlar bunlar.

   Altı ay sonra 20.07.26 itibarıylaArtık altı bot, Googlebot'tan daha yüksek bir görsel payı çekiyor. Burada adı geçen ikisi 7. ve 10. sırada. Görsel çekmek tarayıcı popülasyonu genelinde yaygın.

7. 07Kaydı

   ChatGPT-User yalnızca metin çıkarır. Sıfır görsel, sıfır CSS, sıfır JS. AI sohbetlerine çekilen şey HTML içeriğinizdir. AI görünürlüğü için yapılandırılmış, net metin görsel tasarımdan daha çok önem taşır.

   Altı ay sonra 20.07.26 itibarıylaBuna yakın, ama artık sıfır değil: %95,3 sayfaya karşılık %1,9 görsel. Bunun CSS ve JavaScript tarafı kontrol edilemiyor, çünkü log hattı bu dosyaları depolamadan önce ayıklıyor.

8. 08Kaydı

   AI tarayıcıları farklı saatlerde zirve yapar. GPTBot 04:00 UTC'de vurur. Claude-SearchBot gece boyunca zirve yapar. PerplexityBot 23:00, 05:00 ve 09:00'da patlar. Site değişikliklerinizi ABD'nin yoğun olmayan saatlerinde yayına alıyorsanız, onları ilk gören AI botları olabilir.

   Altı ay sonra 20.07.26 itibarıylaÖrüntü geçerliliğini koruyor, ama her bir saat değişti. GPTBot artık 17:00 UTC'de zirve yapıyor ve ölçtüğümüz zamansal olarak en yoğunlaşmış tarayıcı: tüm hacminin %21,4'ü o tek saatin içinde.

9. 09Kaydı

   Hacim bazında en agresif AI tarayıcısı Meta. Meta-WebIndexer bu veri setinde diğer tüm botlardan fazla istek gönderdi, üstelik sıfır robots.txt kontrolüyle. Meta'nın tarayıcılarını izlemiyorsanız, en büyük oyuncuyu kaçırıyorsunuz.

   Altı ay sonra 20.07.26 itibarıylaBu tespit yazıldığında verinin önündeydi, şimdi veri ona yetişiyor. Altı ayın tamamında Meta 12. sırada. Temmuz'da ise Mayıs'a kadar tamamen yok olmasına rağmen mülkteki tek başına en yoğun AI tarayıcısı.

10. 10Aşıldı

    llms.txt'nin benimsenmesi hâlâ teorik. 48 gün boyunca hiçbir AI botu /llms.txt istemedi. Zamanla bir standart haline gelebilir, ama şu anda hiçbir tarayıcı onu aramıyor.

    Altı ay sonra 20.07.26 itibarıylaO zamandan beri sürekli çekilmeye başladı, ama ezici çoğunlukla öncü laboratuvarlar yerine tarayıcı denetleyicileri, denetim araçları ve araştırma sondaları tarafından. CCBot, ClaudeBot ve Googlebot çekiyor. GPTBot çekmiyor.

11. 11Kaydı

    Applebot sayfalarınızı tam olarak render eder. CSS, JS ve görselleri çeker (trafiğinin %47'si). İçeriğinizin tam görünmesi için JavaScript render'ı gerekiyorsa, Applebot onu görecektir, ama çoğu AI botu görmeyecektir.

    Altı ay sonra 20.07.26 itibarıylaYön olarak doğru, düzey olarak belirgin biçimde daha düşük: görseller Applebot trafiğinin %27,6'sı, o zamanki %47'ye karşılık. CSS ve JavaScript kısmı, yukarıdaki 9. tespitle aynı hat nedeniyle burada test edilemiyor.

12. 12Hâlâ geçerli

    AI sohbetlerinde en çok teknik, nasıl yapılır içeriği referans gösteriliyor. En çok çekilen ChatGPT-User sayfalarının tamamı uygulama rehberleri ve teknik açıklayıcılardı. Derin, spesifik içerik AI atıflarını kazanıyor.

    Altı ay sonra 20.07.26 itibarıylaOrijinal listedeki en sağlam bulgu. En çok gidilen on iki hedefin tamamı uygulama rehberi, araç karşılaştırması veya teknik analiz. Genel hiçbir şey, tanıtım amaçlı hiçbir şey yok. Tek bir taşıma rehberi, ağdaki tüm ChatGPT-User trafiğinin %34'ünü çekti.

13. 13Aşıldı

    Bytespider ve CCBot yalnızca robots.txt kontrol ediyor, hiç tarama yapmıyor. robots.txt yönergelerinizi tüketiyor ama gereğini yapmıyorlar. Bu değişebilir, ama şu anda sıfır içerik indekslemesiyle uyum yükü üretiyorlar.

    Altı ay sonra 20.07.26 itibarıylaÖlçümümüzden bu yana tersine döndü. Bytespider artık mülkteki üçüncü en yoğun tarayıcı ve 16.810 isteğinin %94'ü uyum değil, içerik.

14. 14Hâlâ geçerli

    AI tarama hacmi bir gecede değişebilir. GPTBot tek bir haftada 0'dan 187 isteğe çıktı. Tarama bütçesi projeksiyonlarınızın kademeli büyümeyi değil, ani sıçramaları hesaba katması gerekiyor.

    Altı ay sonra 20.07.26 itibarıylaDoğrulandı, üstelik başlangıçta verilenden daha temiz bir örnekle. Meta yaklaşık sekiz haftada sıfırdan ayda 2.615 isteğe çıktı.

15. 15Aşıldı

    IP analizi bot kimliğini açığa çıkarır. ChatGPT-User'ın 1:1'e yakın IP-istek oranı, bireysel kullanıcı oturumlarını kanıtlar. GPTBot'un 2 IP'si merkezi altyapıyı kanıtlar. IP örüntüleri, gerçek kullanıcı tetiklemeli çekimleri otomatik taramadan ayırmaya yardım eder.

    Altı ay sonra 20.07.26 itibarıylaYöntem ayakta, içindeki her sayı ise değişti. ChatGPT-User artık 1.588 adrese yayılmış şekilde IP başına 12.4 istek yapıyor. GPTBot 2 değil, 129 IP kullanıyor. Burada tarif edilen 1:1'e yakın parmak izi artık 1.4 ile Claude-User'a ait.

16. 16Hâlâ geçerli

    Koordineli tarama olayları bot aileleri arasında gerçekleşiyor. GPTBot ve OAI-SearchBot, 19 Mart'ta aynı Microsoft altyapısından eşzamanlı olarak ateşlendi. Bir OpenAI botu hızlandığında, diğerlerinin de izlemesini bekleyin.

    Altı ay sonra 20.07.26 itibarıylaVerilen tarihin tam olarak kendisinde bağımsız biçimde doğrulandı; altı ayda her iki botun bu eşikleri birlikte aştığı yalnızca iki günden biri.

17. 17Aşıldı

    Adını hiç duymadığınız botlar çoktan ziyaret ediyor. PromptingBot, LinkupBot, Brightbot, Observer ve diğerleri aktif olarak içerik tarıyor. AI bot manzarası, bilinen adların düşündürdüğünden daha geniş.

    Altı ay sonra 20.07.26 itibarıylaAdı geçen dört botun dördü de yeni altı ay boyunca sıfır istek yaptı. Altta yatan nokta tamamen farklı bir kadroyla ayakta: uzun kuyruğa artık llms.txt tarayıcıları ve AI hazırlık denetleyicileri hâkim. Adlardan oluşan her listenin raf ömrü aylarla ölçülüyor.

This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.

What Six Months of Logs Changed

Orijinal çalışma tek bir mülkte 48 gün sürdü. Bu yeniden test, 1 Şubat ile 13 Temmuz 2026 arasında üç mülkte 154.864 sınıflandırılmış isteği kapsıyor; 7,26 milyon istek taşıyan daha büyük bir ecommerce mülküyle çapraz kontrol edildi ve bot kimliği 75 desenli bir referans tablosuna karşı user-agent ile çözümlendi.

Yeniden test edebildiğimiz on yedi tespitin on biri beş ay içinde yer değiştirdi; altısı yeni tarayıcı davranışıyla aşıldı, beşi belirgin biçimde kaydı. Bulgu bu oranın kendisi. Altındaki örüntü ise tek tek düzeltmelerden daha önemli: davranışlar korundu, sayılar değişti. Patlamalar, koordineli sağlayıcı olayları, teknik içeriğe yönelim, hepsi hâlâ orada. Yayımladığımız her özel bot adı, oran ve zirve saati ise değişti.

Meta went from absent to first in eight weeks

Veri setindeki en büyük tek değişim. meta-externalagent Mayıs'a kadar hiçbir şey kaydetmedi, o ay tek bir istek, sonra Haziran'da 553 ve Temmuz'un ilk on üç gününde 2.615. Artık mülkteki en yoğun AI tarayıcısı ve Temmuz kısmi bir ay olduğundan bu rakam onu olduğundan az gösteriyor.

Altı ayın tamamında Meta on ikinci sırada. Temmuz'da birinci sırada. İki ifade de doğru, ki tek pencereye dayalı bir sıralamanın tarama bütçesi kararı için neden zayıf bir temel olduğunu tam olarak bu gösteriyor. Ayrıca 3.169 isabet boyunca sıfır robots.txt isteği yaptı.

The bot rankings churn, the behaviours do not

Ay ay izlenebilecek kadar hacme sahip on dört bot. Popülasyonun şeklinin Şubat'tan Temmuz'a kendine ne kadar az benzediğine bakın.

The IP fingerprint inverted

Orijinal okuma, kullanıcı tetiklemeli çekimleri merkezi taramadan ayırmak için IP başına isteği kullanıyordu. Yöntem hâlâ işliyor. İçindeki her sayı değişti.

Image fetching is now common

Ölçtüğümüzde görselleri hacimli biçimde çeken tek botlar OAI-SearchBot ve Googlebot'tu. O zamandan beri görsel çekmek tarayıcı popülasyonuna yayıldı: artık altı bot Googlebot'tan daha yüksek bir pay çekiyor ve başlangıçta adı geçen ikisi yedinci ve onuncu sırada.

llms.txt is measured, not consumed

Ölçtüğümüzde hiçbir bot /llms.txt istememişti. Bu tamamen değişti, ama standardın savunucularının isteyeceği şekilde değil. Sürekli çekiliyor, neredeyse tamamen bir tane yayımlayıp yayımlamadığınızı kontrol etmek için var olan araçlar tarafından.

Onu çekerken görülen tanınmış büyük sağlayıcı tarayıcıları: CCBot, ClaudeBot, Googlebot ve GoogleOther. Dikkat çekici biçimde yok: GPTBot.

Bytespider does not just check robots.txt

Bu tespit kaymadı, tersine döndü. Bytespider artık mülkteki üçüncü en yoğun tarayıcı ve isteklerinin %94'ü içerik.

What Held Up

Orijinal tespitlerin altısı uzun pencereyi olduğu gibi atlattı ve bunlar bir lideri adlandıranlar değil, davranış tarif edenler.

Atıfları teknik içerik kazanıyor. Orijinal listedeki en sağlam bulgu. En çok gidilen on iki ChatGPT-User hedefinin tamamı uygulama rehberi, araç karşılaştırması veya teknik analiz. Genel hiçbir şey, tanıtım amaçlı hiçbir şey yok. Tek bir taşıma rehberi 6.716 istek çekti, bu da ağdaki tüm ChatGPT-User trafiğinin %34'ü.

GPTBot hâlâ robots.txt'yi yok sayıyor. 6.872 içerik isteğine karşılık iki robots.txt isteği. Meta 3.169 istek boyunca sıfır yaptı.

Patlamalar hafiflemedi, sertleşti. Zirve hızlar artık başlangıçta raporlanan dakikada 114 isteğin epey üzerinde.

Sağlayıcılar hâlâ bot filoları işletiyor ve biz onları eksik saymışız. OpenAI, kendi IP aralığı listesini yayımlayan bir reklam tarayıcısı dahil en az dört ayrı tarayıcı işletiyor. Anthropic ise ClaudeBot, Claude-User ve Claude-SearchBot işletiyor. Üçer bot bir sayım değil, bir tabandı.

Koordineli olaylar gerçek. Orijinal yazının verdiği tarihin tam olarak kendisinde doğrulandı: 19 Mart'ta GPTBot 206 istek, OAI-SearchBot 114 istek gösteriyor; altı ayda ikisinin de bu eşikleri birlikte aştığı yalnızca iki günden biri.

Botlar hâlâ farklı saatlerde zirve yapıyor ve her saat değişti. GPTBot artık 04:00 UTC'de zirve yapmıyor. Şimdi 17:00'de zirve yapıyor ve ölçtüğümüz zamansal olarak en yoğunlaşmış tarayıcı: altı aylık toplam hacminin %21,4'ü günün o tek saatine düşüyor.

What We Could Not Test

Görünürde iki bulgu, logların nasıl toplandığının bir yan ürünü çıktı. İkisini de belirtmeye değer, çünkü her biri verinin desteklemediği iddialı bir başlık üretebilirdi.

Karşılaştırma mülkünde robots.txt görünmez. Hiçbir bottan sıfır robots.txt isteği döndürdü; bu çarpıcı bir uyum bulgusu gibi görünüyor ama değil. O site robots.txt'yi CDN kenarında sunuyor, dolayısıyla istek loglanan katmana hiç ulaşmıyor. Buradaki her robots.txt sonucu yalnızca birincil mülkten geliyor.

CSS ve JavaScript bulguları bu veriyle iki yönde de kontrol edilemiyor. Log temizleyici, depolamadan önce .css, .js, fontları ve source map'leri ayıklıyor. 9. ve 13. tespitler yalnızca görsel bileşenleri üzerinden test edilebiliyor.

İki küçük uyarı daha. Veri seti tek bir mülkü değil, birbiriyle ilişkili üç mülkü kapsıyor ve en çok atıf alan içerik bu ağ içindeki tek bir sitede duruyor, bu da atıf bulgularını yoğunlaştırıyor. Ayrıca Temmuz kısmi bir ay, 13'üne kadar uzanıyor, yani Temmuz rakamları olduğundan az gösteriyor: Meta buna rağmen birinci sıraya çıkıyor.