Skip to main content

Les bots qui crawlent la pile agentique de Shopify.

Deux mois de logs edge d'une boutique de recherche Shopify. Microsoft Copilot est le seul vérificateur agentique organique qui sonde de lui-même, frappant /.well-known/ucp depuis Azure first-party semaine après semaine. Les crawlers LLM courants (GPTBot, ClaudeBot, Bingbot, Googlebot) continuent de récupérer le chemin canonique Shopify /pages/llms-txt et ignorent tous les fichiers de découverte d'agents plus récents.

Available in: English | Deutsch | Español | हिन्दी | Italiano | Bahasa Melayu | Nederlands | Polski | Português | Türkçe | Українська
Tony Castillo

Tony Castillo

← All research

Points clés
  1. Microsoft Copilot sonde le manifeste UCP de lui-même.
    Microsoft-Commerce-Platform sonde /.well-known/ucp à un rythme à peu près hebdomadaire depuis Microsoft Azure.
    Microsoft-Commerce-Platform est le pipeline d'ingestion UCP de Microsoft Copilot.
  2. Les bots IA n'utilisent pas encore les nouveaux fichiers de découverte d'agents. Aucun des crawlers LLM courants (GPTBot, ClaudeBot, Bingbot, Googlebot) n'a touché les nouveaux chemins de découverte d'agents : /llms-full.txt, /agents.md, ni /sitemap_agentic_discovery.xml. Tous continuent de récupérer le chemin canonique Shopify /pages/llms-txt.
  3. Google-Extended n'a pas visité la boutique une seule fois. Le bot d'opt-out déclaré de Google pour l'entraînement IA a enregistré zéro hit sur les 60 derniers jours, sur tous les chemins. Si Gemini intègre les données produit Shopify dans son pipeline d'entraînement, ce n'est pas sous ce UA. Les bots Google qui se sont présentés (Googlebot, GoogleOther) sont des crawlers de recherche et de shopping, pas le bot des données d'entraînement.

Qui est là, et ce qu'ils visent.

Total des fetches de bots LLM sur la fenêtre, accompagné d'une heatmap bot par endpoint. GPTBot, ClaudeBot et Bingbot récupèrent en double /pages/llms-txt et /a/llms mais ignorent les nouveaux fichiers de spec. Seul Microsoft-Commerce-Platform sonde /.well-known/ucp de lui-même.

Total des fetches sur 60 jours par opérateur

Toutes les ressources de découverte LLM combinées
BingbotLLM
93
GPTBotLLM
71
ClaudeBotLLM
28
AmazonbotLLM
13
GoogleOtherLLM
5
OAI-SearchBotLLM
4
Meta-ExternalLLM
3
GooglebotLLM
3
MS-CommerceVRF
3
ApplebotLLM
2
Google-ExtendedLLM
0

Bot × endpoint, 60 jours

Cellules vides = zéro hit. /[locale]/llms-txt agrège les variantes préfixées par locale que Shopify génère automatiquement pour chaque région activée, par ex. /en-gb/pages/llms-txt.
  /pages/llms-txt /a/llms /[locale]/llms-txt /llms.txt /llms-full.txt /agents.md /sitemap_agentic /.well-known/ucp
BingbotLLM 50 43 ······
GPTBotLLM 34 31 6 ·····
ClaudeBotLLM 14 14 ······
AmazonbotLLM 13 ·······
GoogleOtherLLM 1 · 4 ·····
OAI-SearchBotLLM 4 ·······
GooglebotLLM 2 · 1 ·····
Meta-ExternalLLM 2 1 ······
MS-CommerceVRF ······· 3
ApplebotLLM 1 1 ······
Google-ExtendedLLM ········

Le seul vérificateur agentique organique repéré : Microsoft Copilot.

Microsoft-Commerce-Platform a sondé /.well-known/ucp à un rythme à peu près hebdomadaire depuis l'espace Azure first-party de Microsoft. L'IP, l'ASN, les enregistrements PTR et la convention de nommage correspondent tous directement à Microsoft.

Microsoft-Commerce -Platform
User-Agent: Microsoft-Commerce-Platform/1.0
IPs
Trois IPs dans 4.149.255.0/24
ASN
AS8075 · Microsoft · Azure first-party
Géo
Washington · Seattle / Redmond
CF colo
SEA
Reverse DNS
PTRs gérés par Microsoft
Total reqs
3 · uniquement /.well-known/ucp
Cadence
~hebdomadaire
Preuves comportementales
  • ASN Azure first-party de Microsoft (AS8075).
  • Trois IPs dans le bloc contigu 4.149.255.0/24. Schéma de poller en production.
  • Touche uniquement /.well-known/ucp. Aucun balayage de préparation.
  • Cadence à peu près hebdomadaire, cohérente avec un polling de rafraîchissement de capacités.
  • UA nommé "Commerce-Platform", correspondant à la propre gamme de produits Microsoft.

Pipeline d'ingestion UCP de Microsoft Copilot. Microsoft a adopté UCP au NRF 2026 et expédie UCP dans Copilot Checkout avec Shopify, PayPal et Stripe. Le sondage hebdomadaire depuis Azure first-party est le rafraîchissement de capacités en production, pas une sonde ponctuelle.