Ми опублікували 20 висновків про AI-ботів. Через пів року 65% з них змінилися.

Why We Re-Tested Our Own Insights

У березні 2026 року ми опублікували двадцять висновків про поведінку AI-ботів, зроблених на основі 48 днів серверних логів одного ресурсу. Ось що з ними зробило довше й пізніше вікно спостереження.

Дослідження ботів старіють погано, і більшість із них ніхто не перевіряє. Ми хотіли зрозуміти, наскільки погано, тому прогнали первинний список по шести місяцях логів на трьох ресурсах і зафіксували вердикт для кожного висновку. Сімнадцять піддавалися повторній перевірці. Одинадцять із них зрушили за п'ять місяців.

Первинна стаття залишається опублікованою рівно в тому вигляді, що й була: трафік AI-ботів швидко прискорюється, 48-денне дослідження. Там нічого не редагували потайки. Цей матеріал є аудитом тієї статті.

The 20 Takeaways, Re-Tested Six Months Later

1. 01Зміщено

   Ваш sitemap.xml щойно став важливішим. GPTBot і ClaudeBot у березні 2026 року підняли споживання sitemap на вищий рівень і більше не поверталися назад. Якщо ваш sitemap застарілий, неповний або без мовних версій, AI-кравлери пропустять контент.

   Через пів року станом на 20.07.26Споживання sitemap зросло знову і закріпилося. ClaudeBot тепер домінує зі значним відривом, приблизно 6x від Googlebot, а обидва боти вже запитували sitemap у лютому, тож березень позначив ескалацію, а не старт.

2. 02Досі чинне

   robots.txt поважають не всі. GPTBot і Meta-WebIndexer ніколи його не перевіряють. Якщо ваша стратегія AI-контенту спирається на директиви robots.txt, врахуйте, що два з найактивніших кравлерів повністю їх ігнорують.

   Через пів року станом на 20.07.26GPTBot зробив 2 запити до robots.txt проти 6 872 запитів контенту. Meta зробила нуль на 3 169. Підтверджено в обох випадках.

3. 03Витіснено

   Трафік ChatGPT-User є прямим сигналом цитування бренду в розмовах з AI. Кожен запит означає реальну людину, яка вставила ваш URL у ChatGPT. Це вимірюване сарафанне радіо, і воно швидко зростає.

   Через пів року станом на 20.07.26Зростання на 11% за п'ять місяців із провалом посередині: 3 827 у лютому проти 4 236 у червні. Сигнал реальний, а зростання вирівнялося після виміряного нами вікна.

4. 04Досі чинне

   AI-боти сканують пакетами, а не рівним потоком. GPTBot видав 114 запитів за хвилину у 3-хвилинному вікні. Якщо ваш сервер не витримує пакетного трафіку, AI-кравлери можуть отримати обмеження або помилки під час своїх проходів індексації.

   Через пів року станом на 20.07.26Підтверджено і посилилося. Пік тепер становить 270 запитів за хвилину, чотири боти перевищують 130.

5. 05Досі чинне

   OpenAI та Anthropic мають по 3 окремі боти. Один для навчання та індексації, один для пошуку, один для живих сесій користувачів. Блокування одного не блокує інших. Ваш robots.txt потребує окремих директив для кожного.

   Через пів року станом на 20.07.26Це нижня межа, а не стеля. OpenAI тепер має щонайменше чотири, включно з рекламним кравлером, який публікує власний список IP-діапазонів. Три на вендора це мінімум, а не підрахунок.

6. 06Витіснено

   OAI-SearchBot і Googlebot є єдиними ботами, які завантажують зображення в обсязі. Якщо зображення у ваших статтях несуть змістовну інформацію (графіки, схеми, візуалізації даних), саме ці боти використають їх у результатах пошуку.

   Через пів року станом на 20.07.26Шість ботів тепер мають вищу частку зображень, ніж Googlebot. Двоє названих тут посідають 7-ме і 10-те місця. Завантаження зображень поширене серед усієї популяції кравлерів.

7. 07Зміщено

   ChatGPT-User витягує лише текст. Нуль зображень, нуль CSS, нуль JS. У розмови з AI потрапляє саме ваш HTML-контент. Структурований, чіткий текст важить більше за візуальний дизайн для видимості в AI.

   Через пів року станом на 20.07.26Близько до цього, але вже не нуль: 1.9% зображень проти 95.3% сторінок. Частину про CSS і JavaScript перевірити неможливо, бо конвеєр логів відкидає ці файли до збереження.

8. 08Зміщено

   AI-кравлери мають пік у різні години. GPTBot б'є о 04:00 UTC. Claude-SearchBot пікує вночі. PerplexityBot видає сплески о 23:00, 05:00 і 09:00. Якщо ви розгортаєте зміни на сайті в непікові години США, AI-боти можуть побачити їх першими.

   Через пів року станом на 20.07.26Патерн тримається, а кожна конкретна година зрушила. GPTBot тепер пікує о 17:00 UTC, і це найбільш сконцентрований у часі кравлер із виміряних нами: 21.4% усього його обсягу припадає на цю одну годину.

9. 09Зміщено

   Meta є найагресивнішим AI-кравлером за обсягом. Meta-WebIndexer надіслав більше запитів, ніж будь-який інший бот у цьому наборі даних, і жодної перевірки robots.txt. Якщо ви не відстежуєте кравлери Meta, ви пропускаєте найбільшого гравця.

   Через пів року станом на 20.07.26Цей висновок випередив дані на момент написання і зараз вони його наздоганяють. За всі шість місяців Meta посідає 12-те місце. У липні вона є найважчим AI-кравлером на ресурсі, після повної відсутності до травня.

10. 10Витіснено

    Впровадження llms.txt поки що теоретичне. Нуль AI-ботів запитали /llms.txt за 48 днів. Колись це може стати стандартом, але наразі жоден кравлер його не шукає.

    Через пів року станом на 20.07.26Відтоді його почали запитувати безперервно, але переважно сканери, аудитори та дослідницькі зонди, а не передові лабораторії. Його запитують CCBot, ClaudeBot і Googlebot. GPTBot не запитує.

11. 11Зміщено

    Applebot повністю рендерить ваші сторінки. Він завантажує CSS, JS і зображення (47% його трафіку). Якщо ваш контент потребує рендерингу JavaScript, щоб бути повним, Applebot його побачить, а більшість AI-ботів ні.

    Через пів року станом на 20.07.26За напрямом правильно, за величиною суттєво нижче: зображення становлять 27.6% трафіку Applebot проти 47% тоді. Частину про CSS і JavaScript тут перевірити неможливо з тієї ж причини щодо конвеєра, що й у висновку 9 вище.

12. 12Досі чинне

    Технічний контент і покрокові інструкції цитують в AI-розмовах найчастіше. Топові сторінки ChatGPT-User усі були посібниками з впровадження та технічними поясненнями. Глибокий, конкретний контент заробляє цитування в AI.

    Через пів року станом на 20.07.26Найстійкіший висновок з первинного списку. Усі дванадцять топових призначень є посібниками з впровадження, порівняннями інструментів або технічними розборами. Нічого загального, нічого рекламного. Один посібник з міграції зібрав 34% усього трафіку ChatGPT-User у мережі.

13. 13Витіснено

    Bytespider і CCBot лише перевіряють robots.txt і ніколи не сканують. Вони споживають ваші директиви robots.txt без продовження. Це може змінитися, але наразі вони створюють накладні витрати на відповідність із нульовою індексацією контенту.

    Через пів року станом на 20.07.26Розвернулося з часу нашого вимірювання. Bytespider тепер третій за вагою кравлер на ресурсі, і 94% його 16 810 запитів це контент, а не перевірка відповідності.

14. 14Досі чинне

    Обсяг AI-сканування може змінитися за одну ніч. GPTBot пройшов від 0 до 187 запитів за один тиждень. Ваші прогнози бюджету сканування мають враховувати раптові стрибки, а не поступове зростання.

    Через пів року станом на 20.07.26Підтверджено, з чистішим прикладом, ніж наведений спочатку. Meta пройшла від нуля до 2 615 запитів на місяць приблизно за вісім тижнів.

15. 15Витіснено

    Аналіз IP розкриває ідентичність бота. Співвідношення IP до запитів у ChatGPT-User, близьке до 1:1, доводить наявність індивідуальних сесій користувачів. 2 IP у GPTBot доводять централізовану інфраструктуру. Патерни IP допомагають відрізнити реальні запити, ініційовані людьми, від автоматизованого сканування.

    Через пів року станом на 20.07.26Метод виживає, а кожне число в ньому зрушило. ChatGPT-User тепер видає 12.4 запитів на IP з 1 588 адрес. GPTBot має 129 IP, а не 2. Описаний тут відбиток, близький до 1:1, тепер належить Claude-User зі значенням 1.4.

16. 16Досі чинне

    Скоординовані події сканування трапляються в межах родин ботів. GPTBot і OAI-SearchBot спрацювали одночасно 19 березня з тієї самої інфраструктури Microsoft. Коли один бот OpenAI нарощує темп, очікуйте, що інші підуть слідом.

    Через пів року станом на 20.07.26Незалежно підтверджено саме на вказану дату, один із лише двох днів за шість місяців, коли обидва боти разом перевищили ці пороги.

17. 17Витіснено

    Боти, про яких ви ніколи не чули, вже до вас заходять. PromptingBot, LinkupBot, Brightbot, Observer та інші активно сканують контент. Ландшафт AI-ботів ширший, ніж підказують добре відомі назви.

    Через пів року станом на 20.07.26Усі чотири названі боти зробили нуль запитів за нові шість місяців. Сама теза виживає з цілком іншим складом виконавців: у довгому хвості тепер домінують сканери llms.txt та аудитори готовності до AI. Будь-який список назв має термін придатності в кілька місяців.

This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.

What Six Months of Logs Changed

Первинне дослідження тривало 48 днів на одному ресурсі. Ця повторна перевірка охоплює 154 864 класифіковані запити на трьох ресурсах з 1 лютого до 13 липня 2026 року, зіставлені з більшим ecommerce-ресурсом із 7.26 мільйона запитів, з ідентичністю бота, визначеною за user-agent через довідкову таблицю з 75 шаблонів.

Одинадцять із сімнадцяти висновків, які ми змогли перевірити повторно, зрушили за п'ять місяців: шість витіснила нова поведінка кравлерів, п'ять суттєво змістилися. Сама ця частка і є висновком. Патерн під нею важить більше за будь-яке окреме уточнення: поведінка втрималася, а числа зрушили. Сплески, скоординовані події вендорів, зміщення в бік технічного контенту, усе це на місці. Кожна конкретна назва бота, кожне співвідношення і кожна пікова година, які ми публікували, змінилися.

Meta went from absent to first in eight weeks

Найбільша зміна в наборі даних. meta-externalagent не показував нічого взагалі до травня, один поодинокий запит того місяця, потім 553 у червні та 2 615 за перші тринадцять днів липня. Тепер це найважчий AI-кравлер на ресурсі, а липень неповний місяць, тож цифра занижує реальну картину.

За всі шість місяців Meta посідає дванадцяте місце. У липні вона перша. Обидва твердження правдиві, і саме тому рейтинг за одним вікном є поганою основою для рішення про бюджет сканування. Крім того, вона зробила нуль запитів до robots.txt на 3 169 звернень.

The bot rankings churn, the behaviours do not

Чотирнадцять ботів з достатнім обсягом, щоб відстежувати їх помісячно. Подивіться, як мало форма популяції з лютого нагадує саму себе в липні.

The IP fingerprint inverted

Первинне прочитання використовувало запити на IP, щоб відрізнити запити, ініційовані людьми, від централізованого сканування. Метод досі працює. Кожне число в ньому зрушило.

Image fetching is now common

Коли ми вимірювали, OAI-SearchBot і Googlebot були єдиними ботами, які тягнули зображення в обсязі. Відтоді завантаження зображень поширилося на всю популяцію кравлерів: шість ботів тепер мають вищу частку, ніж Googlebot, а двоє початково названих посідають сьоме і десяте місця.

llms.txt is measured, not consumed

Коли ми вимірювали, жоден бот жодного разу не запитав /llms.txt. Це змінилося повністю, хоч і не так, як хотілося б прибічникам стандарту. Його запитують безперервно, майже виключно інструменти, що існують заради перевірки, чи ви його публікуєте.

Впізнавані кравлери великих вендорів, помічені за цим запитом: CCBot, ClaudeBot, Googlebot і GoogleOther. Помітно відсутній: GPTBot.

Bytespider does not just check robots.txt

Цей висновок не дрейфував, він розвернувся. Bytespider тепер третій за вагою кравлер на ресурсі, і 94% його запитів це контент.

What Held Up

Шість первинних висновків пережили довше вікно без змін, і це саме ті, що описують поведінку, а не називають лідера.

Технічний контент заробляє цитування. Найстійкіший висновок з первинного списку. Усі дванадцять топових призначень ChatGPT-User є посібниками з впровадження, порівняннями інструментів або технічними розборами. Нічого загального, нічого рекламного. Один посібник з міграції зібрав 6 716 запитів, 34% усього трафіку ChatGPT-User у мережі.

GPTBot і далі ігнорує robots.txt. Два запити до robots.txt проти 6 872 запитів контенту. Meta зробила нуль на 3 169.

Сплески стали сильнішими, а не слабшими. Пікові показники тепер значно вищі за 114 запитів за хвилину, повідомлені початково.

Вендори і далі тримають флоти ботів, а ми їх недорахували. OpenAI має щонайменше чотири окремі кравлери, включно з рекламним кравлером, який публікує власний список IP-діапазонів. Anthropic має ClaudeBot, Claude-User і Claude-SearchBot. Три на вендора було мінімумом, а не підрахунком.

Скоординовані події реальні. Підтверджено саме на дату, вказану в первинній публікації: 19 березня GPTBot показує 206 запитів, а OAI-SearchBot 114, один із лише двох днів за шість місяців, коли обидва разом перевищили ці пороги.

Боти і далі пікують у різні години, і кожна година зрушила. GPTBot більше не пікує о 04:00 UTC. Тепер його пік о 17:00, і це найбільш сконцентрований у часі кравлер із виміряних нами: 21.4% усього його шестимісячного обсягу припадає на цю одну годину доби.

What We Could Not Test

Два позірні висновки виявилися артефактами способу збору логів. Обидва варто озвучити, бо кожен міг би дати впевнений заголовок, який дані не підтверджують.

robots.txt невидимий на ресурсі для порівняння. Він показав нуль запитів до robots.txt від будь-якого бота, що виглядає драматичним висновком про відповідність, але ним не є. Той сайт віддає robots.txt на краю CDN, тож запит не доходить до рівня, який логується. Усі висновки про robots.txt тут походять лише з основного ресурсу.

Висновки про CSS і JavaScript неможливо перевірити цими даними ані в один, ані в інший бік. Санітайзер логів відкидає .css, .js, шрифти і source maps до збереження. Висновки 9 і 13 можна перевірити лише за їхньою складовою про зображення.

Два менші застереження. Набір даних охоплює три пов'язані ресурси, а не один, і найцитованіший контент лежить на одному сайті всередині цієї мережі, що концентрує висновки про цитування. І липень неповний місяць, до 13-го числа, тож липневі цифри занижені: Meta виходить на перше місце попри це.