Trafik Bot AI Semakin Pantas. 48 Hari Log Pelayan Mendedahkan Apa Yang GPTBot, ChatGPT, ClaudeBot, dan 16 Bot Lain Sedang Lakukan.

Trafik Bot AI Bukan Lagi Titisan Kecil

Antara Februari dan pertengahan Mac 2026, aktiviti bot AI di wislr.com bukan sahaja meningkat. Ia berubah bentuk.

• Trafik ChatGPT-User meningkat 5x ganda dalam tujuh minggu
• GPTBot, tidak hadir sepenuhnya sehingga 12 Mac, melaksanakan 187 permintaan dalam satu minggu, 152 daripadanya dalam ledakan 3 minit
  • GPTBot bukan bot baru. Ia adalah perangkak latihan teras OpenAI, aktif di seluruh web selama bertahun-tahun. Tetapi ia tidak merangkak setiap laman secara berterusan. Data mencadangkan ia diaktifkan pada sesuatu laman sebaik sahaja kandungan laman tersebut mendapat tarikan dalam ekosistem OpenAI. Rujukan ChatGPT-User ke wislr.com sudah meningkat 5x ganda sebelum GPTBot muncul.
• Volum OAI-SearchBot meningkat 4x ganda
• Pada 18-19 Mac, kedua-dua ClaudeBot dan GPTBot mula meminta sitemap.xml buat pertama kali, pada hari yang sama, dari syarikat yang berbeza

Ini adalah perubahan dalam cara platform AI menemui dan mengindeks kandungan.

---

20 Pengajaran untuk Laman Web Anda Sendiri

1. Google Analytics tidak dapat melihat semua ini. Bot AI tidak melaksanakan JavaScript. Jika anda bergantung pada analitik sisi klien, trafik bot AI anda tidak kelihatan. Pengelogan sisi pelayan adalah satu-satunya cara untuk mengukurnya.
2. sitemap.xml anda kini lebih penting. GPTBot dan ClaudeBot kedua-duanya mula menggunakan peta laman pada Mac 2026 buat pertama kali. Jika peta laman anda lapuk, tidak lengkap, atau tiada varian bahasa, perangkak AI akan terlepas kandungan.
3. robots.txt tidak dihormati secara universal. GPTBot dan Meta-WebIndexer tidak pernah menyemaknya. Jika strategi kandungan AI anda bergantung pada arahan robots.txt, ketahuilah bahawa dua perangkak paling aktif mengabaikannya sepenuhnya.
4. Kandungan berbilang bahasa mendapat perhatian rangkak yang tidak seimbang. Bot seperti Meta-WebIndexer (80%), GPTBot (62%), dan Bingbot (60%) membelanjakan majoriti bajet mereka pada varian bahasa. Jika anda menerbitkan kandungan terjemahan, platform AI mengindeksnya secara agresif.
5. Trafik ChatGPT-User adalah isyarat langsung petikan jenama dalam perbualan AI. Setiap permintaan mewakili orang sebenar yang menampal URL anda ke dalam ChatGPT. Ini adalah dari mulut ke mulut yang boleh diukur, dan ia berkembang pantas.
6. Bot AI merangkak dalam ledakan, bukan aliran yang stabil. GPTBot mencapai 114 req/min dalam tetingkap 3 minit. Jika pelayan anda tidak dapat mengendalikan trafik ledakan, perangkak AI mungkin dihadkan atau menghadapi ralat semasa sesi pengindeksan mereka.
7. OpenAI dan Anthropic masing-masing mengendalikan 3 bot berasingan. Satu untuk latihan/pengindeksan, satu untuk carian, satu untuk sesi pengguna langsung. Menyekat satu tidak menyekat yang lain. robots.txt anda memerlukan arahan berasingan untuk setiap satu.
8. OAI-SearchBot dan Googlebot adalah satu-satunya bot yang mengambil imej secara besar-besaran. Jika imej artikel anda mengandungi kandungan bermakna (carta, gambarajah, visualisasi data), bot inilah yang akan menggunakannya dalam hasil carian.
9. ChatGPT-User hanya mengekstrak teks. Sifar imej, sifar CSS, sifar JS. Kandungan HTML anda adalah yang ditarik ke dalam perbualan AI. Teks yang berstruktur dan jelas lebih penting daripada reka bentuk visual untuk keterlihatan AI.
10. Perangkak AI mencapai kemuncak pada waktu yang berbeza. GPTBot mencapai kemuncak pada 04:00 UTC. Claude-SearchBot memuncak semalaman. PerplexityBot meledak pada 23:00, 05:00, dan 09:00. Jika anda menggunakan perubahan laman pada waktu bukan puncak AS, bot AI mungkin yang pertama melihatnya.
11. Meta adalah perangkak AI paling agresif mengikut volum. Meta-WebIndexer menghantar lebih banyak permintaan daripada mana-mana bot lain dalam set data ini, dengan sifar semakan robots.txt. Jika anda tidak menjejaki perangkak Meta, anda terlepas pemain terbesar.
12. Penggunaan llms.txt masih bersifat teori. Sifar bot AI meminta /llms.txt selama 48 hari. Ia mungkin menjadi standard akhirnya, tetapi tiada perangkak yang mencarinya pada masa ini.
13. Applebot memaparkan halaman anda sepenuhnya. Ia mengambil CSS, JS, dan imej (47% daripada trafiknya). Jika kandungan anda memerlukan pemaparan JavaScript untuk lengkap, Applebot akan melihatnya, tetapi kebanyakan bot AI tidak.
14. Trafik ChatGPT-User tersebar secara global. 15 negara, 584 IP unik. Kandungan anda dirujuk dalam perbualan AI di seluruh dunia, bukan hanya di AS.
15. Kandungan teknikal dan panduan cara mendapat rujukan paling banyak dalam perbualan AI. Halaman ChatGPT-User teratas semuanya adalah panduan pelaksanaan dan penjelas teknikal. Kandungan yang mendalam dan spesifik memperoleh petikan AI.
16. Bytespider dan CCBot hanya menyemak robots.txt dan tidak pernah merangkak. Mereka menggunakan arahan robots.txt anda tanpa meneruskannya. Ini mungkin berubah, tetapi pada masa ini mereka menjana beban pematuhan tanpa pengindeksan kandungan.
17. Volum rangkak AI boleh berubah dalam sekelip mata. GPTBot meningkat dari 0 kepada 187 permintaan dalam satu minggu. Unjuran bajet rangkak anda perlu mengambil kira perubahan mendadak, bukan pertumbuhan beransur-ansur.
18. Analisis IP mendedahkan identiti bot. Nisbah IP-kepada-permintaan hampir 1:1 ChatGPT-User membuktikan sesi pengguna individu. 2 IP GPTBot membuktikan infrastruktur berpusat. Corak IP membantu membezakan pengambilan yang dicetuskan pengguna sebenar daripada rangkakan automatik.
19. Peristiwa rangkak yang diselaraskan berlaku merentas keluarga bot. GPTBot dan OAI-SearchBot diaktifkan secara serentak pada 19 Mac dari infrastruktur Microsoft yang sama. Apabila satu bot OpenAI meningkat, jangkakan yang lain akan mengikuti.
20. Bot yang anda tidak pernah dengar sudah pun melawat. PromptingBot, LinkupBot, Brightbot, Observer, dan lain-lain sedang merangkak kandungan secara aktif. Landskap bot AI lebih besar daripada yang dicadangkan oleh nama-nama terkenal.

---

Data

Sumber: 288,566 fail log daripada pengelogan permintaan skrip CDN di wislr.com
Tempoh: 1 Februari hingga 20 Mac 2026
Jumlah permintaan: 71,603
Permintaan bot AI/perangkak yang dianalisis: 12,099 (16.9% daripada semua trafik)

Setiap permintaan HTTP ke wislr.com melalui skrip CDN yang menangkap metadata permintaan penuh (ejen pengguna, geo, pengepala, masa). Ini memberikan kita kebenaran asas tentang apa sebenarnya yang dilakukan bot AI, seberapa kerap, dan apa yang mereka baca.

---

Kedudukan Volum Bot

Kedudukan	Bot	Jumlah Hit	Feb	Mac (separa)	Trend
1	Meta-WebIndexer	1,833	707	1,126	+59%
2	Bingbot	1,221	547	674	+23%
3	ChatGPT-User	923	230	693	+201%
4	Googlebot	816	386	430	+11%
5	Claude-SearchBot	549	216	333	+54%
6	Applebot	495	257	238	-7%
7	PerplexityBot	456	244	212	-13%
8	OAI-SearchBot	330	117	213	+82%
9	ClaudeBot	206	69	137	+99%
10	GPTBot*	187	0	187	Baru pada Mac
11	Amazonbot	71	27	44	+63%
12	Bytespider	68	33	35	+6%
13	Claude-User	18	6	12	+100%
14	CCBot	5	2	3	Minimum
15	Meta-ExternalAgent	4	0	4	Baru
16	DuckAssistBot	4	0	4	Baru
17	Perplexity-User	3	3	0	Minimum
18	YouBot	2	0	2	Baru
19	GoogleOther	2	1	1	Minimum

*GPTBot bukan bot baru. Ia adalah perangkak latihan teras OpenAI, aktif di seluruh web selama bertahun-tahun. “Baru pada Mac” bermaksud baru di laman ini. Data mencadangkan GPTBot diaktifkan pada sesuatu laman sebaik sahaja kandungannya mendapat tarikan dalam ekosistem OpenAI: rujukan ChatGPT-User sudah meningkat 5x ganda sebelum GPTBot muncul.

---

Trend Volum Mingguan

Bot	Feb M1	Feb M2	Feb M3	Feb M4	Mac M1	Mac M2	Mac M3
GPTBot	0	0	0	0	0	4	183
ChatGPT-User	39	66	65	60	72	304	317
OAI-SearchBot	28	34	29	26	28	46	139
ClaudeBot	10	14	9	36	51	24	62
Claude-SearchBot	31	51	47	87	121	68	144
PerplexityBot	22	132	62	28	37	77	98
Bingbot	132	163	136	116	151	248	275
Meta-WebIndexer	63	35	271	338	396	541	189
Amazonbot	8	6	7	6	2	2	40

Mac M3 (Mac 15-20) adalah minggu pecah rekod. GPTBot meletup dari hampir sifar kepada 183 permintaan. ChatGPT-User mengekalkan 300+/minggu (5x ganda garis dasar Februari). OAI-SearchBot mencapai 139, lonjakan 4x ganda. Sesuatu yang diselaraskan berlaku merentas armada bot OpenAI.

---

Profil Bot Individu

---

GPTBot (perangkak latihan/pengindeksan OpenAI)

Jumlah: 187 permintaan | Aktif sejak: 12 Mac | IP: 2 (sangat tertumpu)

GPTBot bukan bot baru. OpenAI mentakrifkannya sebagai perangkak yang digunakan untuk “menjadikan model asas AI generatif kami lebih berguna dan selamat,” merangkak kandungan yang mungkin digunakan dalam melatih model asas mereka. Ia telah beroperasi di seluruh web selama bertahun-tahun. Yang ketara di sini ialah GPTBot tidak hadir sepenuhnya dari wislr.com sehingga 12 Mac, kemudian diaktifkan dengan ledakan rangkak besar-besaran pada 19 Mac pada 04:38 UTC: 152 permintaan dalam 3 minit (puncak 114 req/min). Ia merangkak secara sistematik setiap artikel dalam setiap varian bahasa.

Ini mencadangkan GPTBot tidak merangkak setiap laman secara berterusan. Ia kelihatan diaktifkan dan ditingkatkan pada sesuatu laman sebaik sahaja kandungan laman tersebut mendapat tarikan dalam ekosistem OpenAI, kerana rujukan ChatGPT-User ke wislr.com sudah meningkat 5x ganda sebelum GPTBot muncul.

Apa yang dirangkak:

• Artikel: 67% permintaan
• Varian bahasa: 61.5%, merangkak semua 11 versi bahasa (de, fr, pl, hi, nl, uk, pt, ms, tr, it, es)
• Imej: 28 permintaan (pengepala artikel, foto penulis)
• Sitemap.xml: 2 permintaan (bermula 19 Mac, tingkah laku baharu sepenuhnya)
• robots.txt: Sifar. Tidak pernah menyemaknya.

Masa rangkak: 81% daripada semua permintaan pada 04:00 UTC. Corak ledakan melampau, hampir semua trafik dalam tetingkap 3 minit tunggal.

Infrastruktur: Berjalan dari ASN Microsoft Limited, AS sahaja. 97.9% trafik dari satu IP.

Ledakan GPTBot pada 19 Mac adalah serentak dengan ledakan OAI-SearchBot dari infrastruktur Microsoft yang sama: 50 req/min pada cap masa yang sama. Ini kelihatan diselaraskan.

---

OAI-SearchBot (perangkak carian OpenAI)

Jumlah: 330 permintaan | Trend: +82% Feb ke Mac | IP: 81

OAI-SearchBot ialah perangkak carian khusus OpenAI, berbeza daripada GPTBot. Ia adalah penyemak robots.txt paling konsisten antara semua bot AI, menyemaknya 3-6 kali setiap hari tanpa pengecualian.

Apa yang dirangkak:

• robots.txt: 54.5% daripada semua trafik (180 hit, purata 3.8/hari)
• Artikel: 52 permintaan
• Imej: 55 permintaan, memuat turun imej artikel, foto penulis, tangkapan skrin halaman secara aktif
• Halaman utama: 9 permintaan

Masa rangkak: Tersebar sepanjang hari dengan puncak sedikit pada 04:00 dan 20:00 UTC.

Infrastruktur: Microsoft Limited (87%) + Microsoft Corp (13%), AS sahaja.

Satu-satunya bot OpenAI yang menghormati robots.txt (menyemaknya secara obsesif). Juga satu-satunya bot AI selain Googlebot yang secara aktif mengambil imej secara besar-besaran, berkemungkinan untuk kad hasil carian.

---

ChatGPT-User (pengambil sesi pengguna langsung)

Jumlah: 923 permintaan | Trend: +201% Feb ke Mac | IP: 584

Ini bukan perangkak. Ia diaktifkan apabila pengguna sebenar menampal URL wislr.com ke dalam perbualan ChatGPT. 584 IP unik (hampir 1:1 dengan permintaan) mengesahkan ini adalah sesi pengguna individu. Ini adalah isyarat paling jelas tentang seberapa kerap kandungan wislr.com dipetik dalam perbualan AI.

Kandungan paling dirujuk:

Hit	Artikel
225	Shopify Same-Domain Checkout Analytics
112	Cloudflare Crawl Endpoint Pros and Cons
103	Cloudflare Crawl Best Settings
91	Cloudflare CDN Request Logging for Shopify
81	6 Core Tasks for Better 301 Redirects
50	AI Performance Metrics: Seven KPIs
37	Halaman Utama
30	Essential Tools for Site Migrations
29	OpenAI KPIs and Success Metrics 2026
23	AEO Readiness Comparison

Apa yang tidak diambil: Sifar imej, sifar CSS, sifar JS. Pengekstrakan kandungan HTML tulen, ia hanya mahukan teks.

Masa rangkak: Diedarkan secara sekata merentas semua 24 jam, mengikut corak penggunaan manusia.

Taburan geografi: AS (50%), Poland (16%), Australia (5%), Sepanyol (5%), Jepun (5%), Brazil (4%), 15 negara keseluruhannya. Bandar teratas: Warsaw (149), Phoenix (145), San Antonio (126), Des Moines (91).

---

ClaudeBot (perangkak latihan/pengindeksan Anthropic)

Jumlah: 206 permintaan | Trend: +99% Feb ke Mac | IP: 22

ClaudeBot sangat tertumpu pada semakan pematuhan: 85% trafiknya ialah robots.txt.

Apa yang dirangkak:

• robots.txt: 175 permintaan (85%), meningkat dari 1-2/hari pada awal Feb kepada 6-12/hari menjelang Mac
• Sitemap.xml: 14 permintaan, bermula 18 Mac (tidak pernah menyentuhnya sebelum ini)
• Imej: 10 permintaan (semuanya pada 18 Mac)
• Halaman kandungan: sangat sedikit

ClaudeBot menyemak robots.txt dengan lebih agresif dari semasa ke semasa. Minat mendadaknya terhadap sitemap.xml pada 18 Mac (5 hit pada hari itu, 8 pada 19 Mac) mencadangkan pelancaran strategi rangkak baharu daripada Anthropic.

Infrastruktur: ASN Anthropic, PBC (97%), AS sahaja.

---

Claude-SearchBot (perangkak carian web Anthropic)

Jumlah: 549 permintaan | Trend: +54% Feb ke Mac | IP: 8

Bot Anthropic yang berasingan, berbeza daripada ClaudeBot dan Claude-User. Ini menjana kuasa ciri carian web Claude. Lebih agresif daripada ClaudeBot, sebenarnya merangkak kandungan.

Apa yang dirangkak:

• robots.txt: 164 permintaan (30%), setiap hari, meningkat dari 1-3 kepada 7-10/hari
• Sitemap.xml: 135 permintaan, bermula 25 Feb, dengan cepat menjadi pengguna peta laman kedua paling aktif selepas Bingbot
• Artikel: 142 permintaan (26%)
• Varian bahasa: 23.3% trafik
• Halaman utama: 45 permintaan

Masa rangkak: Berat pada waktu malam, puncak pada 22:00, 01:00, 00:00 UTC.

Secara gabungan, Anthropic mengendalikan 3 bot berbeza (ClaudeBot, Claude-SearchBot, Claude-User) berjumlah 773 permintaan, menjadikan Anthropic kehadiran bot AI ketiga terbesar selepas Meta-WebIndexer dan ChatGPT-User.

---

Claude-User (pengambil sesi langsung Anthropic)

Jumlah: 18 permintaan | IP: 8

Setara Anthropic bagi ChatGPT-User. Diaktifkan apabila seseorang berkongsi URL dalam perbualan Claude. Volum jauh lebih rendah daripada ChatGPT-User (18 berbanding 923).

Apa yang dirangkak: robots.txt (9), kemudian artikel tentang Cloudflare dan kajian kes firma guaman.

Infrastruktur: ASN Google LLC (100%), AS sahaja. Berjalan melalui Google Cloud, bukan infrastruktur Anthropic sendiri.

---

PerplexityBot (perangkak pengindeksan Perplexity)

Jumlah: 456 permintaan | Trend: -13% Feb ke Mac | IP: 13

Corak rangkak ledakan: 132 permintaan pada Feb M2, jatuh kepada 28 pada Feb M4, naik semula kepada 98 pada Mac M3.

Apa yang dirangkak:

• Artikel: 77% trafik, menyasarkan kandungan metrik prestasi AI secara intensif
• robots.txt: 71 permintaan (stabil 1-4/hari)
• Imej: 18 permintaan (imej khusus artikel)
• Sitemap.xml: Sifar. Tidak pernah memintanya.
• Varian bahasa: 52.9%, liputan berbilang bahasa yang luas

Masa rangkak: Tiga tetingkap ledakan berbeza pada 23:00, 05:00, dan 09:00 UTC.

Infrastruktur: Amazon Technologies Inc. (96%), AS sahaja. 13 IP, penumpuan sederhana.

---

Googlebot

Jumlah: 816 permintaan | IP: 72

Berat pada halaman utama (27% trafik) dan perangkak “pemaparan penuh” yang paling lengkap. Mengambil imej, CSS, JS bersama kandungan.

Apa yang dirangkak:

• Halaman utama: 220 permintaan (27%)
• Imej: 152 permintaan
• CSS: 132 permintaan
• JS: 54 permintaan
• Artikel: 141 permintaan
• robots.txt: 68 permintaan
• Sitemap.xml: 5 permintaan (sekali-sekala)

Varian bahasa: Hanya 10.4%, jauh kurang berbilang bahasa berbanding bot lain.

Infrastruktur: Google LLC (91%), sebahagian dari Sweden (8%). Corak rangkak seragam 24 jam.

---

Bingbot

Jumlah: 1,221 permintaan | Trend: +23% Feb ke Mac | IP: 258

Perangkak paling konsisten dan menyeluruh. Juga pengguna peta laman yang dominan.

Apa yang dirangkak:

• Artikel: 68% (dengan liputan varian bahasa yang berat)
• Sitemap.xml: 139 permintaan (2-8/hari, setiap hari), setakat ini perangkak peta laman paling aktif
• Imej: 78 permintaan (ikon sosial, PNG papan pemuka, imej artikel)
• robots.txt: 36 permintaan

Varian bahasa: 60.3%, tumpuan berat pada varian Belanda (97) dan Jerman (98).

Masa rangkak: Liputan seragam 24 jam, sentiasa aktif.

---

Meta-WebIndexer

Jumlah: 1,833 permintaan | Trend: +59% Feb ke Mac | IP: 156

Bot dengan volum tertinggi secara keseluruhan. Sangat tertumpu pada kandungan, terutamanya varian bahasa.

Apa yang dirangkak:

• Artikel: 88% trafik
• Varian bahasa: 79.8%, perangkak berbilang bahasa paling agresif setakat ini
• Sitemap.xml: 30 permintaan
• robots.txt: Sifar. Tidak menyemak robots.txt langsung.

Masa rangkak: Berat pada petang/semalaman, puncak pada 20:00-21:00 dan 00:00-01:00 UTC.

Infrastruktur: ASN Meta Platforms Ireland Ltd, AS sahaja.

Seperti GPTBot, Meta-WebIndexer tidak menyemak robots.txt. Tidak seperti GPTBot, ia telah aktif secara konsisten sepanjang tempoh keseluruhan.

---

Corak Tingkah Laku

Pematuhan robots.txt

Tingkah Laku	Bot
Penyemak obsesif (beberapa kali sehari)	OAI-SearchBot (3.8/hari), ClaudeBot (4/hari), Claude-SearchBot (4/hari)
Penyemak tetap (setiap hari atau hampir setiap hari)	PerplexityBot, Googlebot, Applebot, Amazonbot, FacebookExternalHit (tepat 1/hari seperti jam)
Hanya menyemak robots.txt, tiada yang lain	Bytespider (100%), CCBot (100%)
Tidak pernah menyemak robots.txt	GPTBot, Meta-WebIndexer, ChatGPT-User

GPTBot dan Meta-WebIndexer adalah bot yang ketara tidak patuh. Mereka merangkak secara agresif tanpa pernah menyemak peraturan.

Penemuan Peta Laman

Bot	Hit Sitemap	Permintaan Pertama	Corak
Bingbot	139	1 Feb	Harian, 2-8/hari (raja peta laman)
Claude-SearchBot	135	25 Feb	Berat, menjadi ke-2 paling aktif
Meta-WebIndexer	30	5 Feb	Tetap
ClaudeBot	14	18 Mac	Tingkah laku baharu sepenuhnya
Googlebot	5	2 Feb	Sekali-sekala
GPTBot	2	19 Mac	Tingkah laku baharu sepenuhnya
Applebot	1	17 Mac	Hit tunggal

18-19 Mac menandakan satu perubahan. Kedua-dua ClaudeBot dan GPTBot mula meminta sitemap.xml buat pertama kali, mencadangkan pelancaran strategi rangkak baharu daripada Anthropic dan OpenAI secara serentak.

Permintaan llms.txt / Fail Khusus AI

Tiada bot AI meminta /llms.txt atau /llm.txt. Sifar hit daripada GPTBot, ClaudeBot, PerplexityBot, atau mana-mana perangkak AI lain.

Satu-satunya bot yang menyemak llms.txt ialah Dataprovider.com (sebuah syarikat analitik web): 3 permintaan merentas Feb-Mac.

Dua permintaan untuk /.well-known/ai-plugin.json datang dari pelayar Firefox, bukan bot.

Rangkakan Varian Bahasa

Bot	% Trafik dalam Varian Bahasa	Liputan
Meta-WebIndexer	79.8%	Semua 11 bahasa, diedarkan secara serata
GPTBot	61.5%	Semua 11 bahasa, 8-12 setiap satu
Bingbot	60.3%	Semua 11, berat pada Belanda/Jerman
PerplexityBot	52.9%	Semua 11, Jerman/Sepanyol teratas
Amazonbot	32.4%	Semua 11
Claude-SearchBot	23.3%	Semua 11, agak serata
Applebot	23.0%	Semua 11
OAI-SearchBot	11.2%	Semua 11
Googlebot	10.4%	Sepanyol/Portugis teratas
ChatGPT-User	4.7%	Perancis/Sepanyol/Itali (didorong pengguna)

Meta-WebIndexer dan GPTBot adalah perangkak berbilang bahasa paling agresif. Peratusan rendah ChatGPT-User masuk akal: ia mencerminkan bahasa yang sebenarnya dibaca oleh pengguna manusia.

Rangkakan Imej

Bot	Permintaan Imej	Apa yang Diambil
Googlebot	152	Ikon SVG, logo, favicon, aset pemaparan
Google-InspectionTool	108	Ikon sosial, imej kajian kes
Googlebot-Image	75	Favicon, varian logo, imej artikel
Bingbot	78	Ikon sosial, PNG papan pemuka, imej artikel
OAI-SearchBot	55	Imej artikel, foto penulis, tangkapan skrin
Applebot	32	Imej muka depan artikel
GPTBot	28	Pengepala artikel, foto penulis (semuanya pada 19 Mac)
PerplexityBot	18	Imej artikel
ClaudeBot	10	Foto penulis, tangkapan skrin (semuanya pada 18 Mac)
ChatGPT-User	0	Tidak pernah mengambil imej

Googlebot mengambil imej untuk pemaparan. OAI-SearchBot berkemungkinan mengambilnya untuk kad hasil carian. GPTBot dan ClaudeBot kedua-duanya melakukan ledakan imej tertumpu pada satu hari setiap satu, mencadangkan sesi pengindeksan kelompok.

ChatGPT-User mengambil sifar imej. Pengekstrakan teks tulen.

Bot Lain yang Ditemui

PromptingBot/1.0.0 (104 permintaan)

• Berjalan pada infrastruktur Google Cloud
• Aktif 24 Feb hingga 13 Mac
• Melakukan pemaparan halaman penuh (mengambil CSS, JS, imej, ikon sosial)
• Menyasarkan kandungan metrik prestasi AI

LinkupBot/1.0 (47 permintaan)

• Dari linkup.so, perkhidmatan pengindeksan web
• Infrastruktur Microsoft, asal: Perancis
• Menyemak robots.txt, kemudian fokus pada kandungan migrasi/pengalihan

Brightbot 1.0 (46 permintaan)

• Dari truview LLC, 41 IP unik
• Fokus pada varian bahasa Belanda

Observer/1.0 (36 permintaan)

• Dari obsrvr.net, infrastruktur Jerman/Finland
• Hanya merangkak robots.txt dan satu artikel Perancis

Dataprovider.com (148 permintaan)

• Syarikat analitik web Kanada
• Satu-satunya bot yang menyemak /llms.txt (3 kali)
• Juga menyemak /ads.txt dan /humans.txt

---

Kaedah HTTP

Setiap bot menggunakan GET secara eksklusif. Sifar HEAD, POST, atau kaedah lain merentas semua 12,099 permintaan bot.

---

Data Negara/ASN

Bot	ASN Utama	Negara
GPTBot	Microsoft Limited	AS sahaja
OAI-SearchBot	Microsoft Limited (87%) + Microsoft Corp (13%)	AS sahaja
ChatGPT-User	Microsoft Corporation (78%)	AS (50%), Poland (16%), Australia (5%), Sepanyol (5%), Jepun (5%), Brazil (4%), 15 negara
ClaudeBot	Anthropic, PBC (97%)	AS sahaja
Claude-SearchBot	Anthropic, PBC (100%)	AS sahaja
Claude-User	Google LLC (100%)	AS sahaja
PerplexityBot	Amazon Technologies Inc. (96%)	AS sahaja
Amazonbot	Amazon (100%)	AS sahaja
Applebot	Apple Inc. (100%)	AS sahaja
Bingbot	Microsoft Corporation (99.7%)	AS sahaja
Googlebot	Google LLC (91%)	AS (92%), Sweden (8%)
Meta-WebIndexer	Meta Platforms Ireland Ltd (100%)	AS sahaja
Bytespider	Amazon Singapore (53%), China Unicom (47%)	Singapura (53%), China (47%)

Semua bot AI utama berjalan dari infrastruktur AS kecuali Bytespider (Singapura/China). ChatGPT-User adalah satu-satunya bot dengan taburan global sebenar, mencerminkan pangkalan pengguna manusianya.

---

---

Soalan Lazim

Bot AI manakah yang paling kerap melawat laman web pada tahun 2026?

Berdasarkan 48 hari data log pelayan dari wislr.com, bot AI dengan volum tertinggi ialah Meta-WebIndexer (1,833 permintaan), ChatGPT-User (923 permintaan), Claude-SearchBot (549 permintaan), Applebot (495 permintaan), PerplexityBot (456 permintaan), OAI-SearchBot (330 permintaan), ClaudeBot (206 permintaan), dan GPTBot (187 permintaan). ChatGPT-User menunjukkan pertumbuhan paling mendadak pada +201% antara Februari dan Mac 2026.

Adakah bot AI menyemak robots.txt sebelum merangkak?

Ia sangat berbeza mengikut bot. OAI-SearchBot menyemak robots.txt 3-6 kali sehari tanpa pengecualian. ClaudeBot dan Claude-SearchBot menyemak 4 kali sehari secara purata. Bytespider dan CCBot hanya menyemak robots.txt dan tidak pernah merangkak sebarang kandungan sebenar. Namun, GPTBot dan Meta-WebIndexer tidak pernah menyemak robots.txt langsung, walaupun mereka antara perangkak paling aktif. ChatGPT-User juga tidak pernah menyemak robots.txt.

Adakah mana-mana bot AI meminta llms.txt?

Tidak. Merentasi 12,099 permintaan bot selama 48 hari, sifar bot AI meminta /llms.txt atau /llm.txt. Satu-satunya bot yang menyemak llms.txt ialah Dataprovider.com, sebuah syarikat analitik web, bukan platform AI. Walaupun perbincangan mengenai llms.txt sebagai standard semakin berkembang, tiada perangkak AI yang mencarinya dalam amalan sebenar.

Apakah perbezaan antara GPTBot dan ChatGPT-User?

GPTBot ialah perangkak latihan dan pengindeksan OpenAI yang merangkak halaman, varian bahasa, dan imej secara sistematik dalam ledakan tertumpu, selalunya tanpa menyemak robots.txt. ChatGPT-User diaktifkan apabila pengguna sebenar menampal URL ke dalam perbualan ChatGPT. ChatGPT-User mempunyai 584 IP unik untuk 923 permintaan (hampir 1:1), mengesahkan sesi pengguna individu. ChatGPT-User hanya mengambil teks HTML, tidak pernah imej, CSS, atau JS. GPTBot mengambil semua jenis aset.

Bagaimana anda boleh mengesan trafik bot AI di laman web anda?

Trafik bot AI tidak kelihatan kepada alat analitik sisi klien seperti Google Analytics kerana bot tidak melaksanakan JavaScript. Anda memerlukan pengelogan permintaan sisi pelayan yang menangkap permintaan HTTP mentah yang mencapai domain anda, termasuk pengepala User-Agent yang mengenal pasti bot seperti GPTBot, ChatGPT-User, ClaudeBot, dan lain-lain. WISLR AI Visibility Dashboard menyediakan tahap keterlihatan ini secara langsung.

Bot AI manakah yang merangkak kandungan berbilang bahasa paling agresif?

Meta-WebIndexer membelanjakan 79.8% bajet rangkaknya pada varian bahasa, menjadikannya perangkak berbilang bahasa paling agresif. GPTBot mengikuti pada 61.5%, merangkak semua 11 versi bahasa artikel. Bingbot (60.3%) dan PerplexityBot (52.9%) juga menyasarkan kandungan berbilang bahasa secara intensif. Googlebot terutamanya kurang berbilang bahasa pada hanya 10.4%. Kadar rendah ChatGPT-User pada 4.7% mencerminkan bahawa ia didorong oleh pengguna manusia, bukan rangkakan automatik.