Kogo te boty próbują oszukać?

Bingbot od Microsoftu

Bingbot pobrał go dziesiątki razy. Prawdziwe crawlery GPTBot, ClaudeBot, PerplexityBot i Gemini nie pobrały go ani razu, mimo że wysłały do tej samej witryny tysiące żądań. Crawlery AI w przeważającej większości odkrywają treści, podążając za linkami, a nie czytając sitemapy. Przesłanie sitemapy to rytuał wyszukiwarek: dla widoczności w AI daje bardzo niewiele, na ile wiemy.

Tokenem w robots.txt, który decyduje, czy zebrane treści służą do trenowania Gemini i do ugruntowywania jego odpowiedzi

Nigdy nie wysyła żadnego żądania. Google podaje, że Google-Extended nie ma własnego, odrębnego user-agenta, więc crawlowanie nadal odbywa się przez zwykłe crawlery Google, a token reguluje wyłącznie to, co dzieje się z tą treścią później: trenowanie przyszłych modeli Gemini oraz ugruntowywanie odpowiedzi w Gemini Apps i Vertex AI. Google mówi też wprost, że nie wpływa to na obecność witryny w Google Search ani nie jest sygnałem rankingowym, więc jego zablokowanie nic nie kosztuje w wyszukiwarce i nie zmniejszy ruchu crawlerów nawet o jedno żądanie.

Odwrotny DNS w połączeniu z opublikowanymi przez dostawcę zakresami IP

Ciągi user-agent to zwykły tekst. Każdy może wysłać dowolny z nich i wiele skanerów właśnie tak robi.

ChatGPT-User pobierający stronę, bo człowiek o nią zapytał

Pobrania inicjowane przez użytkownika przewyższyły crawle treningowe mniej więcej w stosunku sześć do jednego. Większość ruchu botów AI to nie trening, tylko pytanie prawdziwej osoby, na które odpowiedź powstaje w czasie rzeczywistym.

Podszyty user-agent

Zaobserwowaliśmy dokładnie taki przypadek: jeden skaner w pojedynczej sieci Google Cloud wysłał grubo ponad tysiąc żądań w ciągu 72 godzin, rotując user-agenty OpenAI, Perplexity i Gemini oraz odpytując po jednym adresie URL na ścieżkę. To enumeracja, a nie crawlowanie. Prawdziwe crawlery OpenAI wychodzą z Azure.

Każda firma prowadzi kilka odrębnych botów o różnych zadaniach

Własna dokumentacja OpenAI wymienia cztery: GPTBot do danych treningowych, ChatGPT-User do pobrania na żywo, gdy człowiek zadaje pytanie, OAI-SearchBot do wyników wyszukiwania w ChatGPT oraz OAI-AdsBot do sprawdzania stron zgłoszonych jako reklamy. Anthropic i pozostali stosują ten sam schemat. OpenAI podaje, że każde ustawienie jest niezależne, więc wydawca może wpuścić OAI-SearchBot, żeby pojawiać się w wynikach, a jednocześnie zablokować GPTBot. To znaczy, że pytanie „czy wpuszczać boty AI?” nie jest jedną decyzją, tylko czterema.

ChatGPT-User i OAI-SearchBot

Zablokowanie jednego tokenu blokuje jednego bota. OpenAI podaje, że każde ustawienie jest niezależne, więc crawler wyszukiwania, crawler reklamowy i pobranie na żywo inicjowane przez użytkownika działają dalej. ChatGPT-User to przypadek najbardziej kłopotliwy: ponieważ te żądania inicjuje człowiek, a nie harmonogram crawlowania, OpenAI zaznacza, że reguły robots.txt mogą go w ogóle nie obejmować. Większość konfiguracji w stylu „zablokowaliśmy AI” zatrzymuje trening i zostawia zupełnie nietknięte te boty, które naprawdę napędzają odpowiedzi widziane przez użytkowników.

Część crawlerów zgaduje nazwy plików sitemap metodą brute force, zamiast czytać dyrektywę Sitemap

Crawler Meta robi dokładnie to. Poprawna linia Sitemap w robots.txt w niczym nie gwarantuje, że crawler z niej skorzysta.

Wielu klientów AI nie wysyła żadnego odsyłacza, więc wizyta zapisuje się jako bezpośrednia

Dane o odsyłaczach z asystentów AI są z założenia dziurawe. Aplikacje desktopowe i mobilne często w ogóle nie przekazują nagłówka referer, przeglądarki wbudowane w aplikacje zachowują się niespójnie, a część klientów wysyła jedynie samą domenę. Ruch ląduje w kanale bezpośrednim, obok zakładek i adresów wpisywanych ręcznie. Liczby po stronie odesłań to dolna granica, a nie pomiar.

Wyszukiwarki są nadal około 20 do 25 razy większe

Google i Bing wykonały w ciągu 72 godzin grubo ponad sto tysięcy żądań, a wszystkie zweryfikowane crawlery AI razem wzięte kilka tysięcy. Crawlowanie przez AI rośnie i jest jak najbardziej realne, ale nie wyparło crawlowania wyszukiwarek, a nagłówki sugerujące inaczej zwykle liczą podszyte user-agenty.