Czy strony treningowe dla LLM naprawdę działają?

Jedna kategoria dostała strony treningowe. Porównywalna nie dostała.

Nasz klient wdrożył prerenderowane strony treningowe dla LLM w jednej kategorii produktowej w maju 2026. Drugą kategorię o porównywalnej wielkości wyłączono z wdrożenia, żeby posłużyła jako grupa kontrolna. Wszystko w tym raporcie mierzymy właśnie względem niej.

"Strona treningowa" to tutaj prerenderowana strona renderowana na serwerze, zbudowana tak, żeby crawler AI mógł przeczytać całą historię produktu bez uruchamiania JavaScriptu: specyfikacje, porównania i odpowiedzi napisane prostym językiem, z linkami do każdej strony produktu w treści. Pytanie brzmi, czy ich wdrożenie zmienia cokolwiek w zachowaniu crawlera.

Odpowiedź jest trudniejsza, niż się wydaje, bo crawlowanie przez AI rośnie wszędzie. Wdrażasz strony treningowe w maju, widzisz wzrost crawli w czerwcu i niczego się nie dowiadujesz. Musisz wiedzieć, co zdarzyłoby się i tak. Dostarcza tego kategoria kontrolna: to najlepsze dostępne oszacowanie tego, co robiłaby kategoria testowa, gdyby nic nie zostało wdrożone.

Metryką są crawle treningowe AI: wejścia crawlerów treningowych AI na strony produktów, do których strona listingu każdej kategorii linkuje ze swojej treści. Linki z nawigacji, nagłówka i stopki są wykluczone, więc liczymy crawle na stronach, na które faktycznie wskazuje strona treningowa.

Jednostką obserwacji jest dzień, nie pojedyncze wejście. Jedna sesja crawlera potrafi wysłać setki zapytań w jednej serii, więc traktowanie 17,030 wejść jako 17,030 niezależnych obserwacji sprawiłoby, że niemal wszystko wyglądałoby istotnie. Na wykresach poniżej jest 118 dni, a w oknach statystycznych po 57 dni po każdej stronie startu.

Gdy model raz przeczyta Twoje strony, może je polecać bez sprawdzania w sieci.

Crawl treningowy przenosi fakty o Twoim produkcie do samego modelu, dzięki czemu asystent odpowiada z pamięci zamiast sięgać do sieci. To właśnie tę metrykę porusza to badanie.

Tak to wygląda w praktyce. Ktoś pyta asystenta, który z tych produktów wybrać. Asystent wskazuje z nazwy Twój produkt, opisuje, co robi i komu pasuje, i porównuje go z alternatywą, wszystko z tego, czego już się nauczył. Nie ma pobrania strony, nie ma cytowania, nie ma linku do źródła. Model zna Twoją ofertę tak, jak zna wszystko inne, a ta wiedza pochodzi ze stron, które crawler treningowy przeczytał i przyswoił kilka miesięcy wcześniej.

Pobieranie na żywo, gdy asystent w trakcie odpowiedzi ściąga stronę i ją cytuje, to druga droga wejścia. Ma znaczenie i zaczyna się w tym samym miejscu: crawler prosi Twój serwer o stronę i dostaje coś, co da się przeczytać.

Podaj mu pustą skorupę JavaScriptu, a nie jesteś w żadnej z tych dróg. Model nie uczy się, co robi Twój produkt, warstwa pobierania nie ma czego wyciągnąć, a kiedy kupujący prosi asystenta o porównanie Twojej oferty z ofertą konkurenta, asystent odpowiada na podstawie tego, co ma. Zwykle jest to listing z marketplace'u, serwis z recenzjami albo konkurent.

To uczciwa wersja tego, dlaczego ta liczba ma znaczenie, i zarazem powód, dla którego uważamy z wyciąganiem wniosków. Badanie dowodzi, że strony treningowe sprawiły, że strony były czytane częściej. Nie dowodzi, co jakikolwiek model zrobił z tym, co przeczytał. Nie będziemy udawać inaczej, a raport, który przeskakuje z wykresu crawli prosto do obietnicy przychodu, to raport, któremu nie należy ufać.

Crawl i tak wart jest pogoni, bo to jedyne ogniwo łańcucha, na które możesz działać bezpośrednio. Nie zmusisz modelu, żeby Cię cytował. Możesz zdecydować, co Twój serwer podaje crawlerowi, i policzyć, co dzieje się dalej.

Około 3,000 słów prerenderowanej treści siedzi pod siatką produktów.

"Strona treningowa dla LLM" to mgliste określenie, więc rozłożyliśmy działającą stronę na części i policzyliśmy, co się na niej znajduje.

Strona listingu zachowuje na górze zwykłą siatkę produktów. Wszystko pod siatką to treść treningowa: prerenderowany HTML, który crawler czyta bez uruchamiania JavaScriptu. Jest go około 3,000 słów, czyli mniej więcej 77% treści tekstowej strony.

Struktura powtarza się celowo. Każdy pogłębiony opis produktu ma ten sam kształt: sekcja "co odróżnia ten produkt" rozbita na sześć osobno zatytułowanych powodów, a po niej tabela specyfikacji. Model, który to czyta, ma niewiele do wywnioskowania, bo każda odpowiedź jest już samodzielnym fragmentem pod nagłówkiem nazywającym pytanie, na które odpowiada.

Duża część porad o widoczności w AI to w istocie porady o schema, więc schema odpuściliśmy. Linki do produktów w treści pominęliśmy z tego samego powodu. Cokolwiek się poruszyło, poruszyło się dlatego, że treść była w HTML, uporządkowana pod nagłówkami i w tabelach, i czytelna bez przeglądarki. Daje nam to czystą podstawę do dalszej pracy: kolejny test dokłada linki wewnętrzne, następny dokłada dane strukturalne, i za każdym razem możemy zmierzyć, ile warty jest sam dodatek, zamiast wdrażać wszystko naraz i zgadywać, która część zrobiła robotę.

Jeszcze jedna rzecz celowo pominięta: tylko 6 z 13 linkowanych stron produktów dostało własny blok z pogłębionym opisem. Pozostałe siedem jest linkowanych z siatki i tyle. To nie było przeoczenie. Zostaje siedem stron, które skorzystały z tego, że siedzą na wzbogaconej stronie, ale nie mają własnej treści, a to okazuje się jednym z bardziej użytecznych porównań w badaniu.

Crawle treningowe wzrosły 2.7x w kategorii testowej i 2.2x w kontrolnej. Różnica między nimi to 22%.

Każdą linię zindeksowano tak, by jej własna średnia sprzed startu wynosiła 100, więc obie zaczynają na tym samym poziomie. Obie w tym oknie ponad się podwajają, łącznie z kontrolną, która nie dostała nic. Tylko te 22%, o które różnią się na końcu, można zapisać na konto stron treningowych.

W surowych liczbach tygodniowych kategoria testowa poszła z 630 crawli tygodniowo na 1,690, czyli wzrost 2.7x. W tych samych tygodniach nietknięta kategoria kontrolna poszła z 1,670 na 3,650, czyli wzrost 2.2x, całkiem bez stron treningowych.

Crawlowanie przez AI rośnie obecnie niemal w każdym serwisie, więc po niemal każdej wdrożonej zmianie zobaczysz wzrost crawli. Sam wzrost niesie więc bardzo mało informacji. Informację niesie rośnięcie szybciej niż porównywalna kategoria, której nie ruszono.

Kategoria testowa wyprzedziła kontrolną o 17%.

Te same dane po wydzieleniu rosnącego tła. Kategoria testowa jest podzielona przez kontrolną, a potem zindeksowana tak, by średnia sprzed startu wynosiła 100. Powyżej 100 oznacza, że rosła szybciej niż reszta serwisu.

Przed startem linia błądzi wokół 100 bez trendu, i tak właśnie wygląda poprawna grupa kontrolna: obie kategorie poruszały się razem. Po starcie linia idzie w górę i tam zostaje. Jej własna średnia po starcie to 114. Formalna estymacja, czyli regresja w skali logarytmicznej, a nie średnia z ilorazów, daje +16.8% przy 95% przedziale ufności od +7.8% do +26.4%. Dwa różne estymatory, oba lądują w tym samym paśmie.

Niebieska linia i zacieniowane pasmo to różne rzeczy. Linia to iloraz dzienny i pojedynczy dzień znaczy na niej bardzo niewiele. Pasmo to szacowany średni wzrost w całym oknie po starcie, a jego wysokość to niepewność wokół tej średniej. To pasmo jest wynikiem. Ostatni punkt na linii nie jest.

Jak zwalidowaliśmy wynik: trzy testy, przeszedł wszystkie trzy.

Jeden test z dobrą liczbą sam w sobie niewiele znaczy. Oto trzy, które przeciwko niemu uruchomiliśmy.

Jeden wzorzec wart jest osobnego pokazania. Crawlowanie ma silny cykl tygodniowy, a zmiana po starcie jest bardzo nierówna w obrębie tygodnia. Każde porównanie, które nie zestawia dni tygodnia jeden do jednego, po części mierzy kalendarz.

Jedna korekta, którą warto wyłożyć wprost. Każdy taki wynik może w zasadzie być przypadkiem, więc pierwsze, co robimy, to pytamy, jak wielkim przypadkiem musiałby być. Pierwsze podejście mówiło, że szansa na taki wynik z samego trafu to około 1 na 3,000.

Test placebo pokazał, że ta liczba jest zbyt pochlebna. Gdy skierowaliśmy tę samą matematykę na daty, w których nic się nie wydarzyło, wciąż zdecydowanie za często zwracała wynik, więc metoda daje się zaimponować łatwiej, niż przyznaje. Obniżyliśmy własną pewność, by to odzwierciedlić. Uczciwe oszacowanie szansy jest bliższe 1 na 50. To nadal prawdziwy wynik, tylko skromniej postawiony niż na początku.

Nie szansa jest liczbą, której należy się trzymać. Jest nią przedział. Nasze najlepsze oszacowanie wzrostu to 17%, a klamra wokół niego biegnie od 8% do 26%. To zdanie, którego będziemy bronić: strony treningowe dały od 8% do 26% więcej crawlowania, najprawdopodobniej około 17%.

Dodatkowe crawlowanie trafiło na produkty, które były dostępne.

Średnia kategorii ukrywa kształt tego zjawiska. W rozbiciu na 13 stron produktów dodatkowe crawlowanie rozkłada się bardzo nierówno.

To zsumowanie stron przed wygładzeniem sprawia, że wykres da się czytać. Pojedyncza strona produktu dostaje kilka crawli dziennie, a jej linia to głównie drgania. Zsumowane razem, dziesięć stron produktów dostępnych trzyma się płasko przez wiosnę, a po starcie wchodzi wyżej. Trzy strony produktów niedostępnych robią coś innego i nie do końca jest to historia, której się spodziewaliśmy.

Linia produktów niedostępnych osuwała się już wtedy, gdy stron treningowych jeszcze nie było. Wchodzi w datę startu nisko i potem spada dalej. Nie możemy przypisać całego tego spadku stronom treningowym i tego nie zrobimy. Część zaczęła się wcześniej, z powodów, których to badanie nie mierzyło.

Strona po stronie szum jest oczywisty i po to właśnie to pokazujemy. Poszczególne panele odchodzą daleko od własnej bazy w obie strony, jeszcze zanim cokolwiek wdrożono. To, co przetrwa ten szum, to bilans na końcu okna.

I nie chodzi tylko o dostępność. Przypomnijmy, że tylko sześć z trzynastu stron dostało własny blok z pogłębionym opisem. Posortuj strony według tego, co faktycznie dała im strona treningowa, a pojawia się gradient.

Najwięcej zyskały strony z własnym blokiem tekstu. Strony jedynie linkowane ze strony, która się wzbogaciła, też zyskały, i to jest bardziej zaskakująca połowa: produkt nie potrzebuje własnej treści, żeby na tym skorzystać. Strony produktów niedostępnych traciły tak czy inaczej.

Wszystkie trzy strony produktów niedostępnych straciły uwagę crawlerów w całym oknie. Dziewięć z dziesięciu stron produktów dostępnych ją zyskało. Wyjątek, Pandora, to niskomarżowa pozycja katalogowa, a nie główny produkt, i spadła o 32%.

To twierdzenie opiera się na 13 punktach danych i nie przewidzieliśmy go z góry. Żadna pojedyncza strona nie jest tu istotna sama w sobie i nie przypisaliśmy im żadnej wartości p. Część spadku produktów niedostępnych poprzedza też start, co widać na wykresie zbiorczym. To trop wart porządnego przetestowania na innej kategorii, a nie wynik.

Ustalenie dotyczy crawli treningowych. Nie sięga dalej.

Co ten projekt mierzy dobrze i gdzie się kończy.

Crawle treningowe to metryka, którą to badanie udźwignie. Dzienne liczby są wystarczająco duże, grupa kontrolna jest czysta, a efekt przetrwał każdy test, jaki na niego rzuciliśmy. Wszystko w tym raporcie jest stwierdzeniem o tym, jak często crawlery AI pobierały te strony, i niczym więcej.

Zachowania dalej w łańcuchu to inna sprawa. Ruch odsyłający od asystentów AI wyszedł na +9% wobec grupy kontrolnej, ale najmniejsza zmiana, którą ten projekt mógłby wiarygodnie wykryć, to około ±72%, więc ta liczba to szum przebrany za wynik. Nie będziemy jej raportować jako ustalenia. Zmierzenie tego, co dzieje się po crawlu, wymaga albo znacznie większego ruchu, albo znacznie dłuższego czasu, a prawdopodobnie obu.

Jedna kategoria to nie prawo. To jedna kategoria testowa zmierzona wobec jednej kategorii kontrolnej przez osiem tygodni. Wystarczy, żeby powiedzieć, że mechanizm tutaj zadziałał. Nie wystarczy, żeby powiedzieć, jak duży byłby efekt w innym katalogu, w innej branży albo za rok.

Budowa pierwszej strony treningowej dla LLM: co na niej umieścić i jak sprawdzić, czy zadziałała.

To strona, którą zmierzyliśmy, opisana jako specyfikacja budowy, plus konfiguracja pomiaru, na której byśmy nalegali, zanim ktokolwiek cokolwiek wdroży.

Strona, która dała 17% wzrostu, to strona listingu kategorii z długim, dobrze uporządkowanym blokiem prerenderowanego HTML pod siatką produktów. Nie ma w tym żadnej sztuczki. Poniższe kroki to składniki tej strony, w kolejności, w jakiej zbudowalibyśmy ją ponownie.