Чи справді працюють сторінки для навчання LLM?

Одна категорія отримала навчальні сторінки. Співставна не отримала.

Наш клієнт випустив попередньо відрендерені сторінки для навчання LLM для однієї товарної категорії в травні 2026 року. Другу категорію співставного розміру вивели з розгортання, щоб використати як базову лінію. Усе в цьому звіті виміряно відносно тієї контрольної групи.

"Навчальна сторінка" тут: це попередньо відрендерена на сервері сторінка, побудована так, щоб AI-сканер міг прочитати всю історію товару без виконання JavaScript: характеристики, порівняння та відповіді простою мовою, з посиланнями в основному тексті на кожну сторінку товару. Питання в тому, чи змінює їх випуск бодай щось у поведінці сканера.

Відповісти на це складніше, ніж здається, бо AI-сканування зростає всюди. Випустіть навчальні сторінки в травні, побачте зростання сканувань у червні, і ви дізналися дуже мало. Треба знати, що сталося б у будь-якому разі. Контрольна категорія це й дає: вона є найточнішою доступною оцінкою того, як поводилася б оброблена категорія, якби нічого не випустили.

Метрика: AI-навчальні сканування, тобто звернення AI-навчальних сканерів до сторінок товарів, на які категорійна сторінка посилається зі свого основного тексту. Навігаційні посилання, посилання в шапці та підвалі виключено, тож ми рахуємо сканування сторінок, на які навчальна сторінка справді вказує.

Одиниця спостереження: день, а не звернення. Одна сесія сканера може видати сотні запитів сплеском, тож трактування 17,030 звернень як 17,030 незалежних спостережень робило б значущим майже будь-що. На графіках нижче 118 днів і по 57 днів з кожного боку від запуску всередині статистичних вікон.

Щойно модель прочитала ваші сторінки, вона може рекомендувати їх, не звертаючись до пошуку.

Навчальне сканування переносить факти про ваш товар у саму модель, тож асистент може відповідати з пам'яті, а не йти в веб. Саме цю метрику й зрушує це дослідження.

Ось як це виглядає на практиці. Хтось питає асистента, який із цих товарів йому взяти. Той відповідає, називаючи ваш товар, описуючи, що він робить і кому підходить, і порівнюючи його з альтернативою, і все це з того, що вже вивчив. Немає ані звернення до вебу, ані цитати, ані посилання на джерело. Модель знає ваш асортимент так само, як знає будь-що інше, і це знання прийшло зі сторінок, які навчальний сканер прочитав і засвоїв кілька місяців тому.

Живий пошук, коли асистент завантажує сторінку посеред відповіді й цитує її, це другий шлях усередину. Він важливий, і починається в тому самому місці: сканер просить у вашого сервера сторінку й отримує щось, що може прочитати.

Дайте йому JavaScript-оболонку, і ви не потрапите в жоден із двох шляхів. Модель не дізнається, що робить ваш товар, шару пошуку нема чого підтягнути, а коли покупець просить асистента порівняти ваш асортимент із конкурентом, асистент відповідає з того, що в нього є. Зазвичай це лістинг маркетплейсу, сайт відгуків або конкурент.

Це чесна версія того, чому це число має значення, і це ж причина, чому ми обережні з тим, що з нього стверджуємо. Дослідження доводить, що навчальні сторінки зробили так, що сторінки читали частіше. Воно не доводить, що будь-яка модель зробила з прочитаним. Ми не вдаватимемо інакше, а звіту, який стрибає просто від графіка сканувань до обіцянки виручки, довіряти не варто.

Що робить сканування вартим уваги попри це, так те, що воно є єдиною ланкою ланцюга, на яку ви можете вплинути напряму. Ви не змусите модель вас цитувати. Ви можете вирішити, що ваш сервер віддає сканеру, і можете порахувати, що станеться далі.

Приблизно 3,000 слів попередньо відрендереного контенту лежать під товарною сіткою.

"Сторінка для навчання LLM" це розмитий вислів, тож ми розібрали живу сторінку на частини й порахували, що на ній було.

Категорійна сторінка зберігає свою звичайну товарну сітку вгорі. Усе під сіткою: це навчальний контент, попередньо відрендерений HTML, який сканер може прочитати без виконання JavaScript. Він налічує приблизно 3,000 слів, близько 77% основного тексту сторінки.

Структура повторюється навмисно. Кожен глибокий розбір товару має ту саму форму: секція "чим цей товар відрізняється", поділена на шість окремо озаголовлених причин, а далі таблиця характеристик. Моделі, яка це читає, майже нема чого домислювати, бо кожна відповідь уже лежить самодостатнім фрагментом під заголовком, що називає питання, на яке вона відповідає.

Дуже багато порад щодо AI-видимості насправді є порадами щодо схеми, тож ми схему прибрали. Посилання на товари в тексті прибрали з тієї самої причини. Що б не зрушило, воно зрушило тому, що контент був у HTML, організований під заголовками й у таблицях, і читався без браузера. Це дає нам чисту базу для нарощування: наступний тест додає внутрішні посилання, той, що за ним, додає структуровані дані, і щоразу ми можемо виміряти, чого варте це доповнення саме по собі, а не випускати все одразу й гадати, яка частина спрацювала.

Ще одне свідомо притримали: лише 6 з 13 пов'язаних сторінок товарів отримали власний блок глибокого розбору. На решту сім є посилання із сітки, і не більше. Це не недогляд. Так лишається сім сторінок, які отримали вигоду від того, що стоять на збагаченій сторінці, не маючи власного тексту, і це виявляється одним із найкорисніших порівнянь у дослідженні.

Навчальні сканування зросли у 2.7x на обробленій категорії та у 2.2x на контрольній. Розрив між ними становить 22%.

Кожну лінію індексовано так, щоб її власне середнє до запуску дорівнювало 100, тож обидві стартують на одному рівні. Обидві більш ніж подвоюються за період, включно з контрольною, яка не отримала нічого. Навчальним сторінкам можна приписати лише ті 22%, з якими вони фінішують нарізно.

У сирих тижневих числах оброблена категорія пройшла шлях від 630 сканувань на тиждень до 1,690, тобто зростання у 2.7x. За ті самі тижні незайманий контроль пройшов від 1,670 до 3,650, тобто зростання у 2.2x, і зовсім без навчальних сторінок.

AI-сканування зараз зростає майже на кожному сайті, тож за майже будь-якою зміною, яку ви випустите, піде зростання сканувань. Саме по собі зростання несе дуже мало інформації. Інформацію несе те, що ви ростете швидше за співставну категорію, яку не чіпали.

Оброблена категорія перегнала контроль на 17%.

Ті самі дані, з яких поділено загальний приплив. Оброблена категорія поділена на контроль, а потім проіндексована так, щоб середнє до запуску дорівнювало 100. Вище 100 означає, що вона росла швидше за решту сайту.

До запуску лінія блукає навколо 100 без тренду, і саме так виглядає валідний контроль: дві категорії рухалися разом. Після запуску вона піднімається й лишається піднятою. Власне середнє лінії після запуску становить 114. Формальна оцінка, яка є регресією в логарифмічній шкалі, а не середнім із відношень, дорівнює +16.8% з 95% довірчим інтервалом від +7.8% до +26.4%. Дві різні оцінки, обидві потрапляють у ту саму смугу.

Синя лінія й затінена смуга: це різні об'єкти. Лінія є щоденним відношенням, і будь-який окремий її день означає дуже мало. Смуга є оціненим середнім приростом за все вікно після запуску, а її висота є невизначеністю навколо цього середнього. Висновком є смуга. Остання точка лінії висновком не є.

Як ми валідували результат: три тести, і він витримав усі три.

Один тест із гарним числом сам по собі мало чого вартий. Ось три, які ми проти нього запустили.

Одну закономірність варто показати окремо. Сканування йде за сильним тижневим циклом, і зміна після запуску дуже нерівномірна впродовж тижня. Будь-яке порівняння, що не вирівняне за днем тижня, частково вимірює календар.

Одна поправка, і її варто проговорити. Будь-який такий результат у принципі може бути збігом, тож перше, що ми робимо, це питаємо, наскільки великим мав би бути той збіг. Наш перший підхід сказав, що шанси отримати це самим лише везінням становлять приблизно 1 з 3,000.

Плацебо-тест показав, що це число надто улесливе. Коли ми навели ту саму математику на дати, коли нічого не відбувалося, вона все одно повертала заявлений результат значно частіше, ніж мала б, тож метод вражається легше, ніж вдає. Ми відповідно знизили власну впевненість. Чесне формулювання шансів ближче до 1 з 50. Це все ще справжній результат, просто скромніше твердження, ніж перше.

Триматися варто не за шанси. Триматися варто за діапазон. Наша найкраща оцінка приросту становить 17%, а межі навколо неї йдуть від 8% до 26%. Ось речення, яке ми відстоюватимемо: навчальні сторінки дали десь між 8% і 26% більше сканувань, і найімовірніше близько 17%.

Додаткові сканування впали на товари, які були в наявності.

Середнє по категорії ховає форму цього. У розрізі 13 сторінок товарів додаткові сканування лягають дуже нерівномірно.

Об'єднання сторінок перед згладжуванням і робить це читабельним. Окрема сторінка товару отримує кілька сканувань на день, і одна така лінія є переважно тремтінням. Складені разом, десять сторінок у наявності тримаються рівно всю весну, а потім роблять крок угору після запуску. Три сторінки не в наявності поводяться інакше, і це не зовсім та історія, на яку ми очікували.

Лінія "не в наявності" сповзала ще до того, як навчальні сторінки з'явилися. Вона входить у дату запуску низько й падає далі після неї. Ми не можемо приписати весь цей спад навчальним сторінкам і не будемо. Частина його почалася раніше, з причин, яких це дослідження не вимірювало.

Посторінково шум очевидний, і в цьому сенс його показу. Окремі панелі далеко блукають від власної бази в обидва боки ще до того, як щось випустили. Що переживає цей шум, так це підсумок наприкінці вікна.

І річ не лише в наявності. Згадайте, що власний блок глибокого розбору отримали лише шість із тринадцяти сторінок. Відсортуйте сторінки за тим, що навчальна сторінка їм насправді дала, і проступає градієнт.

Найбільше здобули сторінки з власним написаним блоком. Сторінки, на які лише посилалися зі сторінки, що стала багатшою, теж здобули, і це більш несподівана половина: товару не потрібен власний текст, щоб отримати вигоду. Сторінки не в наявності втратили позиції в обох випадках.

Усі три сторінки не в наявності втратили увагу сканерів за це вікно. Дев'ять із десяти сторінок у наявності її здобули. Виняток, Pandora, є низькоцінною позицією асортименту, а не основним товаром, і вона впала на 32%.

Це твердження спирається на 13 точок даних, і ми не прогнозували його заздалегідь. Жодна окрема сторінка тут не є значущою сама по собі, і ми не додали до жодної з них p-значення. Частина спаду в товарах не в наявності до того ж передує запуску, як показує об'єднаний графік. Це зачіпка, яку варто як слід перевірити на іншій категорії, а не результат.

Висновок стосується навчальних сканувань. Далі за це він не тягнеться.

Що цей дизайн вимірює добре і де він вичерпується.

Навчальні сканування є метрикою, яку це дослідження може витримати. Щоденні показники достатньо великі, контрольна група чиста, а ефект переживає кожен тест, який ми на нього накинули. Усе в цьому звіті є твердженням про те, як часто AI-сканери завантажували ці сторінки, і нічого понад це.

Подальша поведінка є іншим питанням. Переходи з AI-асистентів вийшли на +9% проти контрольної групи, але найменша зміна, яку цей дизайн міг би надійно виявити, становить близько ±72%, тож це число є шумом, вбраним у результат. Ми не подаватимемо його як висновок. Вимірювання того, що відбувається після сканування, потребує або значно більше трафіку, або значно більше часу, а найімовірніше обох.

Одна категорія не є законом. Це одна оброблена категорія, виміряна проти однієї контрольної впродовж восьми тижнів. Цього достатньо, щоб сказати, що механізм тут спрацював. Цього недостатньо, щоб сказати, наскільки великим був би ефект в іншому каталозі, в іншій вертикалі або через рік.

Створення вашої першої сторінки для навчання LLM: що на неї покласти і як зрозуміти, чи спрацювало.

Це та сторінка, яку ми виміряли, описана як специфікація збірки, плюс схема вимірювання, на якій ми наполягали б, перш ніж будь-хто щось випустить.

Сторінка, яка дала приріст 17%, є категорійною сторінкою з довгим, добре впорядкованим блоком попередньо відрендереного HTML під товарною сіткою. Жодного трюку в ній немає. Кроки нижче: це те, з чого та сторінка складається, у порядку, в якому ми зібрали б її знову.