Трафік AI-ботів прискорюється. 48 днів серверних логів показують, що роблять GPTBot, ChatGPT, ClaudeBot та 16 інших.
Published: March 20, 2026
Трафік AI-ботів більше не цівка
Між лютим та серединою березня 2026 року активність AI-ботів на wislr.com не просто зросла. Вона змінила форму.
- Трафік ChatGPT-User зріс у 5 разів за сім тижнів
- GPTBot, повністю відсутній до 12 березня, виконав 187 запитів за один тиждень, 152 з них за 3-хвилинний сплеск
- GPTBot не є новим ботом. Це основний краулер OpenAI для навчання, який активно працює в інтернеті роками. Але, схоже, він не сканує кожен сайт безперервно. Дані свідчать, що він активується на сайті, коли контент цього сайту набирає популярності в екосистемі OpenAI. Реферали ChatGPT-User на wislr.com вже зросли в 5 разів до того, як GPTBot взагалі з’явився.
- Обсяг OAI-SearchBot зріс у 4 рази
- 18-19 березня і ClaudeBot, і GPTBot почали запитувати sitemap.xml вперше, того самого дня, від різних компаній
Це зміна в тому, як AI-платформи виявляють та індексують контент.
20 висновків для вашого вебсайту
- Google Analytics не бачить нічого з цього. AI-боти не виконують JavaScript. Якщо ви покладаєтесь на клієнтську аналітику, ваш трафік AI-ботів невидимий. Серверне логування — єдиний спосіб його вимірювати.
- Ваш sitemap.xml щойно став важливішим. GPTBot та ClaudeBot вперше почали використовувати карти сайту в березні 2026 року. Якщо ваша карта сайту застаріла, неповна або не містить мовних варіантів, AI-краулери пропустять контент.
- robots.txt не поважається повсюдно. GPTBot та Meta-WebIndexer ніколи його не перевіряють. Якщо ваша стратегія AI-контенту залежить від директив robots.txt, знайте, що два найактивніші краулери їх повністю ігнорують.
- Багатомовний контент отримує непропорційно багато уваги при скануванні. Боти на кшталт Meta-WebIndexer (80%), GPTBot (62%) та Bingbot (60%) витрачають більшу частину свого бюджету на мовні варіанти. Якщо ви публікуєте перекладений контент, AI-платформи індексують його агресивно.
- Трафік ChatGPT-User є прямим сигналом цитування бренду в AI-розмовах. Кожен запит представляє реальну людину, яка вставляє ваш URL у ChatGPT. Це вимірюване сарафанне радіо, і воно швидко зростає.
- AI-боти сканують сплесками, а не рівномірними потоками. GPTBot досяг 114 запитів/хв за 3-хвилинне вікно. Якщо ваш сервер не витримує пікового навантаження, AI-краулери можуть отримати обмеження або помилки під час сесій індексації.
- OpenAI та Anthropic оперують по 3 окремі боти кожен. Один для навчання/індексації, один для пошуку, один для живих сесій користувачів. Блокування одного не блокує інші. Ваш robots.txt потребує окремих директив для кожного.
- OAI-SearchBot та Googlebot — єдині боти, які активно завантажують зображення. Якщо зображення у ваших статтях містять значущий контент (діаграми, схеми, візуалізації даних), саме ці боти використовуватимуть їх у результатах пошуку.
- ChatGPT-User витягує лише текст. Нуль зображень, нуль CSS, нуль JS. Саме ваш HTML-контент потрапляє в AI-розмови. Структурований, чіткий текст важливіший за візуальний дизайн для AI-видимості.
- AI-краулери досягають піку в різні години. GPTBot найактивніший о 04:00 UTC. Claude-SearchBot має пік вночі. PerplexityBot сплескує о 23:00, 05:00 та 09:00. Якщо ви розгортаєте зміни на сайті в непікові години США, AI-боти можуть побачити їх першими.
- Meta є найагресивнішим AI-краулером за обсягом. Meta-WebIndexer надіслав більше запитів, ніж будь-який інший бот у цьому наборі даних, з нулем перевірок robots.txt. Якщо ви не відстежуєте краулери Meta, ви пропускаєте найбільшого гравця.
- Впровадження llms.txt все ще теоретичне. Нуль AI-ботів запитували /llms.txt за 48 днів. Можливо, це стане стандартом згодом, але жоден краулер наразі його не шукає.
- Applebot повністю рендерить ваші сторінки. Він завантажує CSS, JS та зображення (47% його трафіку). Якщо ваш контент потребує рендерингу JavaScript для повноти, Applebot побачить його, але більшість AI-ботів — ні.
- Трафік ChatGPT-User глобально розподілений. 15 країн, 584 унікальні IP. Ваш контент цитується в AI-розмовах по всьому світу, не лише в США.
- Технічний, практичний контент цитується найчастіше в AI-розмовах. Найпопулярніші сторінки ChatGPT-User були посібниками з впровадження та технічними пояснювальними матеріалами. Глибокий, конкретний контент заробляє AI-цитування.
- Bytespider та CCBot лише перевіряють robots.txt і ніколи не сканують. Вони споживають ваші директиви robots.txt, не виконуючи їх. Це може змінитися, але наразі вони створюють накладні витрати на відповідність при нульовій індексації контенту.
- Обсяг сканування AI може змінитися за одну ніч. GPTBot перейшов від 0 до 187 запитів за один тиждень. Ваші прогнози бюджету сканування мають враховувати раптові стрибки, а не поступове зростання.
- Аналіз IP розкриває ідентичність ботів. Співвідношення IP до запитів ChatGPT-User, близьке до 1:1, доводить індивідуальні сесії користувачів. 2 IP GPTBot доводять централізовану інфраструктуру. Шаблони IP допомагають відрізнити реальні запити користувачів від автоматизованого сканування.
- Координовані події сканування відбуваються між ботами одного сімейства. GPTBot та OAI-SearchBot спрацювали одночасно 19 березня з тієї самої інфраструктури Microsoft. Коли один бот OpenAI активізується, очікуйте, що інші підуть за ним.
- Боти, про яких ви ніколи не чули, вже відвідують ваш сайт. PromptingBot, LinkupBot, Brightbot, Observer та інші активно сканують контент. Ландшафт AI-ботів більший, ніж припускають відомі назви.
Дані
Джерело: 288 566 файлів логів із логування CDN-скриптів на wislr.com
Період: з 1 лютого по 20 березня 2026 року
Загальна кількість запитів: 71 603
Проаналізовані запити AI/краулер-ботів: 12 099 (16,9% усього трафіку)
Кожен HTTP-запит до wislr.com проходить через CDN-скрипт, який фіксує повні метадані запиту (user agent, геолокація, заголовки, час). Це дає нам достовірні дані про те, що саме роблять AI-боти, як часто та що вони читають.
Хочете такий рівень видимості трафіку AI-ботів на вашому сайті?
Запланувати розмовуРейтинг ботів за обсягом
| Rank | Bot | Total Hits | Feb | Mar (partial) | Trend |
|---|---|---|---|---|---|
| 1 | Meta-WebIndexer | 1,833 | 707 | 1,126 | +59% |
| 2 | Bingbot | 1,221 | 547 | 674 | +23% |
| 3 | ChatGPT-User | 923 | 230 | 693 | +201% |
| 4 | Googlebot | 816 | 386 | 430 | +11% |
| 5 | Claude-SearchBot | 549 | 216 | 333 | +54% |
| 6 | Applebot | 495 | 257 | 238 | -7% |
| 7 | PerplexityBot | 456 | 244 | 212 | -13% |
| 8 | OAI-SearchBot | 330 | 117 | 213 | +82% |
| 9 | ClaudeBot | 206 | 69 | 137 | +99% |
| 10 | GPTBot* | 187 | 0 | 187 | New in March |
| 11 | Amazonbot | 71 | 27 | 44 | +63% |
| 12 | Bytespider | 68 | 33 | 35 | +6% |
| 13 | Claude-User | 18 | 6 | 12 | +100% |
| 14 | CCBot | 5 | 2 | 3 | Minimal |
| 15 | Meta-ExternalAgent | 4 | 0 | 4 | New |
| 16 | DuckAssistBot | 4 | 0 | 4 | New |
| 17 | Perplexity-User | 3 | 3 | 0 | Minimal |
| 18 | YouBot | 2 | 0 | 2 | New |
| 19 | GoogleOther | 2 | 1 | 1 | Minimal |
*GPTBot не є новим ботом. Це основний краулер OpenAI для навчання, який активно працює в інтернеті роками. “New in March” означає новий саме на цьому сайті. Дані свідчать, що GPTBot активується на сайті, коли його контент набирає популярності в екосистемі OpenAI: реферали ChatGPT-User вже зросли в 5 разів до того, як GPTBot взагалі з’явився.
Тижневі тренди обсягів
| Bot | Feb W1 | Feb W2 | Feb W3 | Feb W4 | Mar W1 | Mar W2 | Mar W3 |
|---|---|---|---|---|---|---|---|
| GPTBot | 0 | 0 | 0 | 0 | 0 | 4 | 183 |
| ChatGPT-User | 39 | 66 | 65 | 60 | 72 | 304 | 317 |
| OAI-SearchBot | 28 | 34 | 29 | 26 | 28 | 46 | 139 |
| ClaudeBot | 10 | 14 | 9 | 36 | 51 | 24 | 62 |
| Claude-SearchBot | 31 | 51 | 47 | 87 | 121 | 68 | 144 |
| PerplexityBot | 22 | 132 | 62 | 28 | 37 | 77 | 98 |
| Bingbot | 132 | 163 | 136 | 116 | 151 | 248 | 275 |
| Meta-WebIndexer | 63 | 35 | 271 | 338 | 396 | 541 | 189 |
| Amazonbot | 8 | 6 | 7 | 6 | 2 | 2 | 40 |
Березень W3 (15-20 березня) став проривним тижнем. GPTBot вибухнув від майже нуля до 183 запитів. ChatGPT-User утримував 300+/тиждень (у 5 разів більше за лютневий базовий рівень). OAI-SearchBot досяг 139, стрибок у 4 рази. Щось координоване відбулося по всьому флоту ботів OpenAI.
Профілі окремих ботів
GPTBot (краулер OpenAI для навчання/індексації)
Всього: 187 запитів | Активний з: 12 березня | IP: 2 (висока концентрація)
GPTBot не є новим ботом. OpenAI визначає його як краулер, що використовується для «покращення корисності та безпеки генеративних AI-моделей», скануючи контент, який може бути використаний для навчання їхніх базових моделей. Він працює в інтернеті роками. Примітно те, що GPTBot був повністю відсутній на wislr.com до 12 березня, а потім активувався масовим сплеском сканування 19 березня о 04:38 UTC: 152 запити за 3 хвилини (пік 114 запитів/хв). Він систематично просканував кожну статтю в кожному мовному варіанті.
Це свідчить про те, що GPTBot не сканує кожен сайт безперервно. Він, схоже, активується та нарощується на сайті, коли контент цього сайту набирає популярності в екосистемі OpenAI, оскільки реферали ChatGPT-User на wislr.com вже зросли в 5 разів до появи GPTBot.
Що він сканує:
- Статті: 67% запитів
- Мовні варіанти: 61,5%, просканував усі 11 мовних версій (de, fr, pl, hi, nl, uk, pt, ms, tr, it, es)
- Зображення: 28 запитів (заголовки статей, фото авторів)
- Sitemap.xml: 2 запити (почав 19 березня, абсолютно нова поведінка)
- robots.txt: Нуль. Ніколи не перевіряє.
Час сканування: 81% усіх запитів о 04:00 UTC. Екстремальний сплесковий шаблон, майже весь трафік за одне 3-хвилинне вікно.
Інфраструктура: працює з ASN Microsoft Limited, лише США. 97,9% трафіку з одного IP.
Сплеск GPTBot 19 березня збігся зі сплеском OAI-SearchBot з тієї самої інфраструктури Microsoft: 50 запитів/хв на тій самій мітці часу. Це виглядає координовано.
OAI-SearchBot (пошуковий краулер OpenAI)
Всього: 330 запитів | Тренд: +82% лютий до березня | IP: 81
OAI-SearchBot — це спеціалізований пошуковий краулер OpenAI, відмінний від GPTBot. Він є найнаполегливішим перевірювачем robots.txt серед усіх AI-ботів, звертаючись до нього 3-6 разів кожен день без винятку.
Що він сканує:
- robots.txt: 54,5% усього трафіку (180 звернень, в середньому 3,8/день)
- Статті: 52 запити
- Зображення: 55 запитів, активно завантажує зображення статей, фото авторів, скриншоти сторінок
- Головна сторінка: 9 запитів
Час сканування: розподілений протягом дня з незначними піками о 04:00 та 20:00 UTC.
Інфраструктура: Microsoft Limited (87%) + Microsoft Corp (13%), лише США.
Єдиний бот OpenAI, який поважає robots.txt (перевіряє його нав’язливо). Також єдиний AI-бот, окрім Googlebot, який активно завантажує зображення у великих обсягах, ймовірно для карток результатів пошуку.
ChatGPT-User (завантажувач живих сесій користувачів)
Всього: 923 запити | Тренд: +201% лютий до березня | IP: 584
Це не краулер. Він спрацьовує, коли реальна людина вставляє URL wislr.com у розмову ChatGPT. 584 унікальні IP (майже 1:1 із запитами) підтверджують, що це індивідуальні сесії користувачів. Це найчіткіший сигнал того, наскільки часто контент wislr.com цитується в AI-розмовах.
Найбільш цитований контент:
| Hits | Article |
|---|---|
| 225 | Shopify Same-Domain Checkout Analytics |
| 112 | Cloudflare Crawl Endpoint Pros and Cons |
| 103 | Cloudflare Crawl Best Settings |
| 91 | Cloudflare CDN Request Logging for Shopify |
| 81 | 6 Core Tasks for Better 301 Redirects |
| 50 | AI Performance Metrics: Seven KPIs |
| 37 | Homepage |
| 30 | Essential Tools for Site Migrations |
| 29 | OpenAI KPIs and Success Metrics 2026 |
| 23 | AEO Readiness Comparison |
Що він не завантажує: нуль зображень, нуль CSS, нуль JS. Чисте витягування HTML-контенту, він хоче лише текст.
Час сканування: рівномірно розподілений по всіх 24 годинах, слідує шаблонам використання людьми.
Географічний розподіл: США (50%), Польща (16%), Австралія (5%), Іспанія (5%), Японія (5%), Бразилія (4%), загалом 15 країн. Найбільші міста: Варшава (149), Фінікс (145), Сан-Антоніо (126), Де-Мойн (91).
ClaudeBot (краулер Anthropic для навчання/індексації)
Всього: 206 запитів | Тренд: +99% лютий до березня | IP: 22
ClaudeBot переважно зосереджений на перевірці відповідності: 85% його трафіку становить robots.txt.
Що він сканує:
- robots.txt: 175 запитів (85%), зріс з 1-2/день на початку лютого до 6-12/день до березня
- Sitemap.xml: 14 запитів, почав 18 березня (раніше ніколи не звертався)
- Зображення: 10 запитів (усі 18 березня)
- Сторінки з контентом: дуже мало
ClaudeBot з часом перевіряє robots.txt дедалі агресивніше. Його раптовий інтерес до sitemap.xml 18 березня (5 звернень того дня, 8 — 19 березня) свідчить про розгортання нової стратегії сканування від Anthropic.
Інфраструктура: Anthropic, PBC ASN (97%), лише США.
Claude-SearchBot (краулер Anthropic для веб-пошуку)
Всього: 549 запитів | Тренд: +54% лютий до березня | IP: 8
Окремий бот Anthropic, відмінний від ClaudeBot та Claude-User. Він забезпечує функцію веб-пошуку Claude. Агресивніший за ClaudeBot, дійсно сканує контент.
Що він сканує:
- robots.txt: 164 запити (30%), щоденно, зростання з 1-3 до 7-10/день
- Sitemap.xml: 135 запитів, почав 25 лютого, швидко став другим найактивнішим споживачем карти сайту після Bingbot
- Статті: 142 запити (26%)
- Мовні варіанти: 23,3% трафіку
- Головна сторінка: 45 запитів
Час сканування: зміщений на нічний час, піки о 22:00, 01:00, 00:00 UTC.
Загалом Anthropic оперує 3 окремими ботами (ClaudeBot, Claude-SearchBot, Claude-User) із загальною кількістю 773 запити, що робить Anthropic третьою за величиною AI-бот-присутністю після Meta-WebIndexer та ChatGPT-User.
Claude-User (завантажувач живих сесій Anthropic)
Всього: 18 запитів | IP: 8
Еквівалент ChatGPT-User від Anthropic. Спрацьовує, коли хтось ділиться URL у розмові з Claude. Значно менший обсяг, ніж у ChatGPT-User (18 проти 923).
Що він сканує: robots.txt (9), потім статті про Cloudflare та кейс юридичної фірми.
Інфраструктура: Google LLC ASN (100%), лише США. Працює через Google Cloud, а не через власну інфраструктуру Anthropic.
PerplexityBot (краулер індексації Perplexity)
Всього: 456 запитів | Тренд: -13% лютий до березня | IP: 13
Сплесковий шаблон сканування: 132 запити у лютому W2, падіння до 28 у лютому W4, зростання до 98 у березні W3.
Що він сканує:
- Статті: 77% трафіку, переважно орієнтований на контент про метрики ефективності AI
- robots.txt: 71 запит (стабільно 1-4/день)
- Зображення: 18 запитів (зображення до конкретних статей)
- Sitemap.xml: Нуль. Ніколи не запитує.
- Мовні варіанти: 52,9%, широке багатомовне покриття
Час сканування: три чіткі вікна сплесків о 23:00, 05:00 та 09:00 UTC.
Інфраструктура: Amazon Technologies Inc. (96%), лише США. 13 IP, помірна концентрація.
Googlebot
Всього: 816 запитів | IP: 72
Зосереджений на головній сторінці (27% трафіку) та найбільш «повного рендерингу» краулер. Завантажує зображення, CSS, JS поряд із контентом.
Що він сканує:
- Головна сторінка: 220 запитів (27%)
- Зображення: 152 запити
- CSS: 132 запити
- JS: 54 запити
- Статті: 141 запит
- robots.txt: 68 запитів
- Sitemap.xml: 5 запитів (періодично)
Мовні варіанти: лише 10,4%, значно менш багатомовний, ніж інші боти.
Інфраструктура: Google LLC (91%), частина зі Швеції (8%). Рівномірний 24-годинний шаблон сканування.
Bingbot
Всього: 1 221 запит | Тренд: +23% лютий до березня | IP: 258
Найстабільніший та найширший краулер. Також домінуючий споживач карти сайту.
Що він сканує:
- Статті: 68% (з великим покриттям мовних варіантів)
- Sitemap.xml: 139 запитів (2-8/день, кожен день), безсумнівно найактивніший краулер карти сайту
- Зображення: 78 запитів (соціальні іконки, PNG дашбордів, зображення статей)
- robots.txt: 36 запитів
Мовні варіанти: 60,3%, сильний акцент на нідерландських (97) та німецьких (98) варіантах.
Час сканування: рівномірне 24-годинне покриття, завжди активний.
Meta-WebIndexer
Всього: 1 833 запити | Тренд: +59% лютий до березня | IP: 156
Бот з найбільшим обсягом загалом. Переважно зосереджений на контенті, особливо мовних варіантах.
Що він сканує:
- Статті: 88% трафіку
- Мовні варіанти: 79,8%, безсумнівно найагресивніший багатомовний краулер
- Sitemap.xml: 30 запитів
- robots.txt: Нуль. Взагалі не перевіряє robots.txt.
Час сканування: переважно вечір/ніч, піки о 20:00-21:00 та 00:00-01:00 UTC.
Інфраструктура: Meta Platforms Ireland Ltd ASN, лише США.
Як і GPTBot, Meta-WebIndexer не перевіряє robots.txt. На відміну від GPTBot, він був стабільно активний протягом усього періоду.
Поведінкові шаблони
Дотримання robots.txt
| Поведінка | Боти |
|---|---|
| Нав’язливі перевірювачі (кілька разів на день) | OAI-SearchBot (3,8/день), ClaudeBot (4/день), Claude-SearchBot (4/день) |
| Регулярні перевірювачі (щодня або майже щодня) | PerplexityBot, Googlebot, Applebot, Amazonbot, FacebookExternalHit (рівно 1/день як годинник) |
| Лише перевіряють robots.txt, більше нічого | Bytespider (100%), CCBot (100%) |
| Ніколи не перевіряють robots.txt | GPTBot, Meta-WebIndexer, ChatGPT-User |
GPTBot та Meta-WebIndexer — боти, які примітно не дотримуються правил. Вони сканують агресивно, ніколи не перевіряючи правила.
Виявлення карти сайту
| Bot | Sitemap Hits | First Request | Pattern |
|---|---|---|---|
| Bingbot | 139 | Feb 1 | Daily, 2-8/day (the sitemap king) |
| Claude-SearchBot | 135 | Feb 25 | Heavy, became 2nd most active |
| Meta-WebIndexer | 30 | Feb 5 | Regular |
| ClaudeBot | 14 | Mar 18 | Brand new behavior |
| Googlebot | 5 | Feb 2 | Occasional |
| GPTBot | 2 | Mar 19 | Brand new behavior |
| Applebot | 1 | Mar 17 | Single hit |
18-19 березня знаменує зміну. І ClaudeBot, і GPTBot почали запитувати sitemap.xml вперше, що свідчить про одночасне розгортання нових стратегій сканування від Anthropic та OpenAI.
Запити llms.txt / AI-специфічних файлів
Жоден AI-бот не запитує /llms.txt або /llm.txt. Нуль звернень від GPTBot, ClaudeBot, PerplexityBot чи будь-якого іншого AI-краулера.
Єдиний бот, що перевіряє llms.txt, це Dataprovider.com (компанія веб-аналітики): 3 запити за лютий-березень.
Два запити на /.well-known/ai-plugin.json надійшли від браузерів Firefox, а не від ботів.
Сканування мовних варіантів
| Bot | % of Traffic in Language Variants | Coverage |
|---|---|---|
| Meta-WebIndexer | 79.8% | All 11 languages, evenly distributed |
| GPTBot | 61.5% | All 11 languages, 8-12 each |
| Bingbot | 60.3% | All 11, heavy on Dutch/German |
| PerplexityBot | 52.9% | All 11, German/Spanish top |
| Amazonbot | 32.4% | All 11 |
| Claude-SearchBot | 23.3% | All 11, fairly even |
| Applebot | 23.0% | All 11 |
| OAI-SearchBot | 11.2% | All 11 |
| Googlebot | 10.4% | Spanish/Portuguese top |
| ChatGPT-User | 4.7% | French/Spanish/Italian (user-driven) |
Meta-WebIndexer та GPTBot є найагресивнішими багатомовними краулерами. Низький відсоток ChatGPT-User логічний: він відображає, якими мовами реальні користувачі читають контент.
Сканування зображень
| Bot | Image Requests | What They Fetch |
|---|---|---|
| Googlebot | 152 | SVG icons, logos, favicons, rendering assets |
| Google-InspectionTool | 108 | Social icons, case study images |
| Googlebot-Image | 75 | Favicon, logo variants, article images |
| Bingbot | 78 | Social icons, dashboard PNGs, article images |
| OAI-SearchBot | 55 | Article images, author photos, screenshots |
| Applebot | 32 | Article cover images |
| GPTBot | 28 | Article headers, author photos (all on Mar 19) |
| PerplexityBot | 18 | Article images |
| ClaudeBot | 10 | Author photo, screenshots (all on Mar 18) |
| ChatGPT-User | 0 | Never fetches images |
Googlebot завантажує зображення для рендерингу. OAI-SearchBot, ймовірно, завантажує їх для карток результатів пошуку. GPTBot та ClaudeBot обидва виконали концентровані сплески завантаження зображень в один день кожен, що свідчить про пакетні сесії індексації.
ChatGPT-User завантажує нуль зображень. Чисте витягування тексту.
Інші виявлені боти
PromptingBot/1.0.0 (104 запити)
- Працює на інфраструктурі Google Cloud
- Активний з 24 лютого по 13 березня
- Виконує повний рендеринг сторінок (завантажує CSS, JS, зображення, соціальні іконки)
- Орієнтований на контент про метрики ефективності AI
LinkupBot/1.0 (47 запитів)
- Від linkup.so, сервіс веб-індексації
- Інфраструктура Microsoft, походження: Франція
- Перевіряє robots.txt, потім зосереджується на контенті про міграцію/редиректи
Brightbot 1.0 (46 запитів)
- Від truview LLC, 41 унікальний IP
- Зосереджений на нідерландських мовних варіантах
Observer/1.0 (36 запитів)
- Від obsrvr.net, німецька/фінська інфраструктура
- Сканує лише robots.txt та одну французьку статтю
Dataprovider.com (148 запитів)
- Канадська компанія веб-аналітики
- Єдиний бот, який перевіряє /llms.txt (3 рази)
- Також перевіряє /ads.txt та /humans.txt
HTTP-методи
Кожен бот використовує виключно GET. Нуль HEAD, POST або інших методів серед усіх 12 099 запитів ботів.
Дані про країни/ASN
| Bot | Primary ASN | Countries |
|---|---|---|
| GPTBot | Microsoft Limited | US only |
| OAI-SearchBot | Microsoft Limited (87%) + Microsoft Corp (13%) | US only |
| ChatGPT-User | Microsoft Corporation (78%) | US (50%), Poland (16%), Australia (5%), Spain (5%), Japan (5%), Brazil (4%), 15 countries |
| ClaudeBot | Anthropic, PBC (97%) | US only |
| Claude-SearchBot | Anthropic, PBC (100%) | US only |
| Claude-User | Google LLC (100%) | US only |
| PerplexityBot | Amazon Technologies Inc. (96%) | US only |
| Amazonbot | Amazon (100%) | US only |
| Applebot | Apple Inc. (100%) | US only |
| Bingbot | Microsoft Corporation (99.7%) | US only |
| Googlebot | Google LLC (91%) | US (92%), Sweden (8%) |
| Meta-WebIndexer | Meta Platforms Ireland Ltd (100%) | US only |
| Bytespider | Amazon Singapore (53%), China Unicom (47%) | Singapore (53%), China (47%) |
Усі основні AI-боти працюють з інфраструктури в США, за винятком Bytespider (Сінгапур/Китай). ChatGPT-User є єдиним ботом з дійсно глобальним розподілом, що відображає його базу людей-користувачів.
Часті запитання
Які AI-боти найчастіше відвідують вебсайти у 2026 році?
За даними 48 днів серверних логів wislr.com, найактивніші AI-боти: Meta-WebIndexer (1 833 запити), ChatGPT-User (923 запити), Claude-SearchBot (549 запитів), Applebot (495 запитів), PerplexityBot (456 запитів), OAI-SearchBot (330 запитів), ClaudeBot (206 запитів) та GPTBot (187 запитів). ChatGPT-User показав найшвидше зростання: +201% між лютим та березнем 2026 року.
Чи перевіряють AI-боти robots.txt перед скануванням?
Ситуація дуже різна. OAI-SearchBot перевіряє robots.txt 3-6 разів на день без винятку. ClaudeBot та Claude-SearchBot перевіряють у середньому 4 рази на день. Bytespider та CCBot лише перевіряють robots.txt і ніколи не сканують фактичний контент. Водночас GPTBot та Meta-WebIndexer взагалі ніколи не перевіряють robots.txt, попри те, що є одними з найактивніших краулерів. ChatGPT-User також ніколи не перевіряє robots.txt.
Чи запитує якийсь AI-бот llms.txt?
Ні. Серед 12 099 запитів ботів за 48 днів жоден AI-бот не запитував /llms.txt або /llm.txt. Єдиний бот, який перевіряв llms.txt, це Dataprovider.com, компанія веб-аналітики, а не AI-платформа. Попри зростаючу дискусію навколо llms.txt як стандарту, жоден AI-краулер наразі не шукає його на практиці.
Яка різниця між GPTBot та ChatGPT-User?
GPTBot — це краулер OpenAI для навчання та індексації, який систематично сканує сторінки, мовні варіанти та зображення концентрованими сплесками, часто без перевірки robots.txt. ChatGPT-User спрацьовує, коли реальна людина вставляє URL у розмову ChatGPT. ChatGPT-User мав 584 унікальні IP для 923 запитів (майже 1:1), що підтверджує індивідуальні сесії користувачів. ChatGPT-User отримує лише HTML-текст, ніколи зображення, CSS чи JS. GPTBot отримує всі типи ресурсів.
Як виявити трафік AI-ботів на своєму вебсайті?
Трафік AI-ботів невидимий для клієнтських інструментів аналітики, таких як Google Analytics, оскільки боти не виконують JavaScript. Потрібне серверне логування запитів, яке фіксує необроблені HTTP-запити до вашого домену, включаючи заголовок User-Agent, який ідентифікує ботів на кшталт GPTBot, ChatGPT-User, ClaudeBot та інших. WISLR AI Visibility Dashboard забезпечує цей рівень видимості одразу з коробки.
Які AI-боти найагресивніше сканують багатомовний контент?
Meta-WebIndexer витрачає 79,8% свого бюджету сканування на мовні варіанти, що робить його найагресивнішим багатомовним краулером. GPTBot на другому місці з 61,5%, скануючи всі 11 мовних версій статей. Bingbot (60,3%) та PerplexityBot (52,9%) також активно орієнтуються на багатомовний контент. Googlebot помітно менш багатомовний, лише 10,4%. Низький показник ChatGPT-User у 4,7% пояснюється тим, що він керується людьми-користувачами, а не автоматизованим скануванням.