Kami Terbitkan 20 Insight Tentang Bot AI. Enam Bulan Kemudian, 65% Sudah Berubah.

Why We Re-Tested Our Own Insights

Pada Mac 2026 kami menerbitkan dua puluh rumusan tentang tingkah laku bot AI, diambil daripada 48 hari log pelayan pada satu properti. Inilah kesan tempoh yang lebih panjang dan lebih kemudian terhadap rumusan itu.

Kajian bot cepat lapuk, dan kebanyakannya tidak pernah disemak semula. Kami mahu tahu sejauh mana, jadi kami menguji semula senarai asal terhadap enam bulan log merentas tiga properti dan merekodkan verdik bagi setiap insight. Tujuh belas boleh diuji semula. Sebelas daripadanya telah bergerak dalam masa lima bulan.

Artikel asal masih diterbitkan persis seperti asalnya: Trafik Bot AI Memecut Laju, kajian 48 hari itu. Tiada apa-apa di sana disunting secara senyap. Tulisan ini ialah auditnya.

The 20 Takeaways, Re-Tested Six Months Later

1. 01Beralih

   sitemap.xml anda baru sahaja menjadi lebih penting. GPTBot dan ClaudeBot kedua-duanya menaikkan penggunaan sitemap ke tahap yang lebih tinggi pada Mac 2026 dan tidak pernah berpatah balik. Jika sitemap anda basi, tidak lengkap, atau kehilangan varian bahasa, crawler AI akan terlepas kandungan.

   Enam bulan kemudian setakat 20/07/26Penggunaan sitemap naik semula dan kekal di situ. ClaudeBot kini pengguna dominan dengan jurang yang luas, kira-kira 6x Googlebot, dan kedua-dua bot sudah pun mengambil sitemap pada Februari, jadi Mac menandakan satu escalation, bukan permulaan.

2. 02Masih kekal

   robots.txt tidak dipatuhi secara menyeluruh. GPTBot dan Meta-WebIndexer tidak pernah menyemaknya. Jika strategi kandungan AI anda bergantung pada arahan robots.txt, ketahuilah bahawa dua crawler paling aktif mengabaikannya sepenuhnya.

   Enam bulan kemudian setakat 20/07/26GPTBot membuat 2 request robots.txt berbanding 6,872 request kandungan. Meta membuat sifar merentas 3,169. Disahkan pada kedua-duanya.

3. 03Digantikan

   Trafik ChatGPT-User ialah isyarat langsung petikan jenama dalam perbualan AI. Setiap request mewakili seorang manusia sebenar yang menampal URL anda ke dalam ChatGPT. Ini ialah word-of-mouth yang boleh diukur, dan ia berkembang pantas.

   Enam bulan kemudian setakat 20/07/26Naik 11% merentas lima bulan dengan penurunan di pertengahan: 3,827 pada Februari berbanding 4,236 pada Jun. Isyarat itu nyata, dan pertumbuhannya mendatar selepas tempoh yang kami ukur.

4. 04Masih kekal

   Bot AI crawl dalam burst, bukan aliran sekata. GPTBot mencecah 114 req/min dalam tempoh 3 minit. Jika pelayan anda tidak mampu menampung trafik burst, crawler AI mungkin di-throttle atau menemui ralat semasa larian pengindeksan mereka.

   Enam bulan kemudian setakat 20/07/26Disahkan dan bertambah sengit. Puncaknya kini 270 request seminit, dengan empat bot melebihi 130.

5. 05Masih kekal

   OpenAI dan Anthropic masing-masing mengendalikan 3 bot berasingan. Satu untuk training/pengindeksan, satu untuk carian, satu untuk sesi pengguna langsung. Menyekat satu tidak menyekat yang lain. robots.txt anda memerlukan arahan berasingan bagi setiap satu.

   Enam bulan kemudian setakat 20/07/26Itu paras minimum, bukan paras maksimum. OpenAI kini mengendalikan sekurang-kurangnya empat, termasuk crawler iklan yang menerbitkan senarai julat IP sendiri. Tiga setiap satu ialah paras minimum, bukan kiraan muktamad.

6. 06Digantikan

   OAI-SearchBot dan Googlebot ialah satu-satunya bot yang mengambil imej dalam kuantiti besar. Jika imej artikel anda membawa kandungan bermakna (carta, rajah, visualisasi data), inilah bot yang akan menggunakannya dalam hasil carian.

   Enam bulan kemudian setakat 20/07/26Enam bot kini mengambil image share yang lebih tinggi daripada Googlebot. Dua yang dinamakan di sini berada di tangga ke-7 dan ke-10. Pengambilan imej kini lumrah merentas populasi crawler.

7. 07Beralih

   ChatGPT-User hanya mengekstrak teks. Sifar imej, sifar CSS, sifar JS. Kandungan HTML anda ialah apa yang ditarik masuk ke dalam perbualan AI. Teks yang berstruktur dan jelas lebih penting daripada reka bentuk visual untuk keterlihatan AI.

   Enam bulan kemudian setakat 20/07/26Hampir tepat, tetapi bukan sifar lagi: 1.9% imej berbanding 95.3% halaman. Bahagian CSS dan JavaScript tidak dapat disemak, kerana saluran log membuang fail tersebut sebelum penyimpanan.

8. 08Beralih

   Crawler AI memuncak pada waktu berbeza. GPTBot mencecah pada 04:00 UTC. Claude-SearchBot memuncak pada waktu malam. PerplexityBot meletus pada 23:00, 05:00, dan 09:00. Jika anda melancarkan perubahan tapak pada waktu luar puncak AS, bot AI mungkin yang pertama melihatnya.

   Enam bulan kemudian setakat 20/07/26Coraknya kekal dan setiap waktu khusus telah beralih. GPTBot kini memuncak pada 17:00 UTC, dan ia crawler paling tertumpu dari segi masa yang kami ukur, dengan 21.4% daripada keseluruhan volumnya jatuh dalam satu jam itu.

9. 09Beralih

   Meta ialah crawler AI paling agresif dari segi volum. Meta-WebIndexer menghantar lebih banyak request daripada mana-mana bot lain dalam set data ini, dengan sifar semakan robots.txt. Jika anda tidak menjejaki crawler Meta, anda terlepas pemain terbesar.

   Enam bulan kemudian setakat 20/07/26Yang ini mendahului data ketika ditulis dan kini data sedang mengejarnya. Sepanjang enam bulan penuh Meta berada di tangga ke-12. Pada Julai ia crawler AI paling berat pada properti itu, selepas langsung tiada sehingga Mei.

10. 10Digantikan

    Penggunaan llms.txt masih bersifat teori. Sifar bot AI meminta /llms.txt sepanjang 48 hari. Ia mungkin menjadi standard suatu hari nanti, tetapi tiada crawler yang mencarinya buat masa ini.

    Enam bulan kemudian setakat 20/07/26Sejak itu ia mula diambil berterusan, tetapi majoritinya oleh pengimbas, juruaudit dan probe penyelidikan, bukan makmal frontier. CCBot, ClaudeBot dan Googlebot mengambilnya. GPTBot tidak.

11. 11Beralih

    Applebot merender halaman anda sepenuhnya. Ia mengambil CSS, JS, dan imej (47% daripada trafiknya). Jika kandungan anda memerlukan rendering JavaScript untuk menjadi lengkap, Applebot akan melihatnya, tetapi kebanyakan bot AI tidak.

    Enam bulan kemudian setakat 20/07/26Arahnya tepat, tetapi kini jauh lebih rendah: imej ialah 27.6% daripada trafik Applebot, berbanding 47% ketika itu. Bahagian CSS dan JavaScript tidak boleh diuji di sini atas sebab saluran yang sama seperti insight 9 di atas.

12. 12Masih kekal

    Kandungan teknikal dan panduan cara buat paling banyak dirujuk dalam perbualan AI. Halaman ChatGPT-User teratas semuanya panduan pelaksanaan dan penjelasan teknikal. Kandungan mendalam dan spesifik meraih petikan AI.

    Enam bulan kemudian setakat 20/07/26Penemuan paling kukuh dalam senarai asal. Kesemua dua belas destinasi teratas ialah panduan pelaksanaan, perbandingan alat atau analisis teknikal. Tiada yang generik, tiada yang promosi. Satu panduan migrasi menarik 34% daripada semua trafik ChatGPT-User ke rangkaian itu.

13. 13Digantikan

    Bytespider dan CCBot hanya menyemak robots.txt dan tidak pernah crawl. Mereka membaca arahan robots.txt anda tanpa menindaklanjutinya. Ini mungkin berubah, tetapi buat masa ini mereka menjana beban pematuhan dengan sifar pengindeksan kandungan.

    Enam bulan kemudian setakat 20/07/26Bertukar arah sejak kami mengukurnya. Bytespider kini crawler ketiga paling berat pada properti itu, dan 94% daripada 16,810 request-nya ialah kandungan, bukan pematuhan.

14. 14Masih kekal

    Volum crawl AI boleh berubah dalam sekelip mata. GPTBot melonjak daripada 0 kepada 187 request dalam satu minggu. Unjuran crawl budget anda perlu mengambil kira lonjakan mendadak, bukan pertumbuhan beransur-ansur.

    Enam bulan kemudian setakat 20/07/26Disahkan, dengan contoh yang lebih jelas daripada yang dipetik pada asalnya. Meta melonjak daripada sifar kepada 2,615 request sebulan dalam kira-kira lapan minggu.

15. 15Digantikan

    Analisis IP mendedahkan identiti bot. Nisbah IP kepada request ChatGPT-User yang hampir 1:1 membuktikan sesi pengguna individu. 2 IP GPTBot membuktikan infrastruktur berpusat. Corak IP membantu membezakan pengambilan yang dicetuskan pengguna sebenar daripada crawling automatik.

    Enam bulan kemudian setakat 20/07/26Kaedahnya bertahan dan setiap angka di dalamnya telah bergerak. ChatGPT-User kini mencatat 12.4 request setiap IP merentas 1,588 alamat. GPTBot mengendalikan 129 IP, bukan 2. Cap jari hampir 1:1 yang digambarkan di sini kini milik Claude-User pada 1.4.

16. 16Masih kekal

    Peristiwa crawl yang diselaraskan berlaku merentas keluarga bot. GPTBot dan OAI-SearchBot bergerak serentak pada 19 Mac daripada infrastruktur Microsoft yang sama. Apabila satu bot OpenAI meningkat, jangkakan yang lain mengikut.

    Enam bulan kemudian setakat 20/07/26Disahkan secara bebas pada tarikh tepat yang dipetik, salah satu daripada hanya dua hari dalam enam bulan di mana kedua-dua bot melepasi ambang itu bersama-sama.

17. 17Digantikan

    Bot yang anda tidak pernah dengar sudah pun melawat. PromptingBot, LinkupBot, Brightbot, Observer, dan lain-lain sedang aktif crawl kandungan. Landskap bot AI lebih luas daripada yang disiratkan oleh nama-nama terkenal.

    Enam bulan kemudian setakat 20/07/26Kesemua empat bot yang dinamakan membuat sifar request sepanjang enam bulan baharu ini. Maksud asasnya bertahan dengan barisan yang sama sekali berbeza: ekor panjang kini dikuasai oleh pengimbas llms.txt dan juruaudit kesediaan AI. Mana-mana senarai bernama hanya bertahan beberapa bulan.

This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.

What Six Months of Logs Changed

Kajian asal berjalan selama 48 hari pada satu properti. Ujian semula ini merangkumi 154,864 request terklasifikasi merentas tiga properti antara 1 Februari dan 13 Julai 2026, dirujuk silang dengan sebuah properti ecommerce yang lebih besar membawa 7.26 juta request, dengan identiti bot dileraikan melalui user-agent terhadap jadual rujukan 75 corak.

Sebelas daripada tujuh belas insight yang boleh kami uji semula bergerak dalam masa lima bulan, enam digantikan oleh tingkah laku crawler baharu dan lima beralih secara ketara. Kadar itulah penemuannya. Corak di sebaliknya lebih penting daripada mana-mana pembetulan tunggal: tingkah lakunya kekal dan angkanya bergerak. Burst, peristiwa vendor yang diselaraskan, kecenderungan ke arah kandungan teknikal, semuanya masih ada. Setiap nama bot, nisbah dan peak hour khusus yang kami terbitkan telah berubah.

Meta went from absent to first in eight weeks

Perubahan terbesar dalam set data ini. meta-externalagent tidak merekodkan apa-apa langsung sehingga Mei, satu request tunggal pada bulan itu, kemudian 553 pada Jun dan 2,615 dalam tiga belas hari pertama Julai. Ia kini crawler AI paling berat pada properti itu, dan Julai ialah bulan separa, jadi angka itu masih terkurang.

Sepanjang enam bulan penuh Meta berada di tangga kedua belas. Pada Julai ia di tangga pertama. Kedua-dua kenyataan itu benar, dan itulah sebabnya kedudukan berdasarkan satu tempoh tunggal menjadi asas yang lemah untuk keputusan crawl budget. Ia juga membuat sifar request robots.txt merentas 3,169 hit.

The bot rankings churn, the behaviours do not

Empat belas bot dengan volum mencukupi untuk dijejaki bulan demi bulan. Perhatikan betapa sedikitnya bentuk populasi ini menyerupai dirinya sendiri dari Februari ke Julai.

The IP fingerprint inverted

Bacaan asal menggunakan request setiap IP untuk membezakan pengambilan yang dicetuskan pengguna daripada crawling berpusat. Kaedahnya masih berfungsi. Setiap angka di dalamnya telah bergerak.

Image fetching is now common

Ketika kami mengukur, OAI-SearchBot dan Googlebot ialah satu-satunya bot yang menarik imej dalam kuantiti besar. Sejak itu pengambilan imej telah merebak ke seluruh populasi crawler: enam bot kini mengambil share yang lebih tinggi daripada Googlebot, dan dua yang asalnya dinamakan berada di tangga ketujuh dan kesepuluh.

llms.txt is measured, not consumed

Ketika kami mengukur, tiada bot pernah meminta /llms.txt. Itu telah berubah sepenuhnya, walaupun bukan dengan cara yang diharapkan oleh penyokong standard itu. Ia diambil berterusan, hampir sepenuhnya oleh alat yang wujud untuk menyemak sama ada anda menerbitkannya.

Crawler vendor besar yang dikenali dan dilihat mengambilnya: CCBot, ClaudeBot, Googlebot dan GoogleOther. Yang ketara tiada: GPTBot.

Bytespider does not just check robots.txt

Yang ini bukan sekadar hanyut, ia bertukar arah. Bytespider kini crawler ketiga paling berat pada properti itu dan 94% daripada request-nya ialah kandungan.

What Held Up

Enam daripada insight asal bertahan utuh dalam tempoh yang lebih panjang, dan semuanya ialah yang menerangkan tingkah laku, bukan yang menamakan pemimpin.

Kandungan teknikal meraih petikan. Penemuan paling kukuh dalam senarai asal. Kesemua dua belas destinasi ChatGPT-User teratas ialah panduan pelaksanaan, perbandingan alat atau analisis teknikal. Tiada yang generik, tiada yang promosi. Satu panduan migrasi menarik 6,716 request, 34% daripada semua trafik ChatGPT-User merentas rangkaian.

GPTBot masih mengabaikan robots.txt. Dua request robots.txt berbanding 6,872 request kandungan. Meta membuat sifar merentas 3,169.

Burst menjadi lebih teruk, bukan bertambah baik. Kadar puncak kini jauh melebihi 114 request seminit yang dilaporkan pada asalnya.

Vendor masih mengendalikan armada bot, dan kami terkurang mengira. OpenAI mengendalikan sekurang-kurangnya empat crawler berbeza, termasuk crawler iklan yang menerbitkan senarai julat IP sendiri. Anthropic mengendalikan ClaudeBot, Claude-User dan Claude-SearchBot. Tiga setiap satu ialah paras minimum, bukan kiraan muktamad.

Peristiwa yang diselaraskan itu nyata. Disahkan pada tarikh tepat yang dipetik dalam pos asal: 19 Mac menunjukkan GPTBot pada 206 request dan OAI-SearchBot pada 114, salah satu daripada hanya dua hari dalam enam bulan di mana kedua-duanya melepasi ambang itu bersama-sama.

Bot masih memuncak pada waktu berbeza, dan setiap waktu telah beralih. GPTBot tidak lagi memuncak pada 04:00 UTC. Ia kini memuncak pada 17:00, dan ia crawler paling tertumpu dari segi masa yang kami ukur: 21.4% daripada keseluruhan volum enam bulannya jatuh dalam satu jam itu.

What We Could Not Test

Dua penemuan yang kelihatan nyata ternyata artifak cara log dikumpulkan. Kedua-duanya wajar dinyatakan, kerana setiap satu boleh menghasilkan tajuk yang yakin tetapi tidak disokong data.

robots.txt tidak kelihatan pada properti perbandingan. Ia memulangkan sifar request robots.txt daripada mana-mana bot, yang kelihatan seperti penemuan pematuhan yang dramatik tetapi sebenarnya bukan. Tapak itu menyajikan robots.txt di edge CDN, jadi request tersebut tidak pernah sampai ke lapisan yang dilog. Setiap kesimpulan robots.txt di sini datang daripada properti utama sahaja.

Penemuan CSS dan JavaScript tidak boleh disemak dari mana-mana sudut dengan data ini. Penyanitasi log membuang .css, .js, fon dan source map sebelum penyimpanan. Insight 9 dan 13 hanya boleh diuji pada komponen imejnya.

Dua kaveat yang lebih kecil. Set data ini merangkumi tiga properti berkaitan dan bukan satu, dan kandungan yang paling banyak dipetik terletak pada satu tapak dalam rangkaian itu, yang memusatkan penemuan petikan. Dan Julai ialah bulan separa, berjalan hingga 13hb, jadi angka Julai adalah terkurang: Meta mencapai tempat pertama walaupun begitu.