Why We Re-Tested Our Own Insights
En mars 2026, nous avons publié vingt constats sur le comportement des bots IA, tirés de 48 jours de logs serveur sur une seule propriété. Voici ce qu'une fenêtre plus longue et plus récente leur a fait.
La recherche sur les bots vieillit mal, et elle n'est presque jamais revérifiée. Nous voulions savoir à quel point, alors nous avons repassé la liste initiale sur six mois de logs répartis sur trois propriétés, en consignant un verdict pour chaque constat. Dix-sept étaient retestables. Onze d'entre eux avaient bougé en cinq mois.
L'article d'origine reste publié exactement tel quel : Le trafic des bots IA accélère vite, l'étude sur 48 jours. Rien n'y a été discrètement retouché. Cet article en est l'audit.
The 20 Takeaways, Re-Tested Six Months Later
Les constats dépassés et ceux qui ont évolué représentent ensemble 11 des 17 constats, 65 % de la liste, en environ cinq mois. Chaque verdict décrit ce que la population de crawlers a fait ensuite, pas un défaut de la mesure initiale. Les verdicts proviennent d'une fenêtre plus récente et plus longue : 154 864 requêtes classifiées sur trois propriétés entre le 1er février et le 13 juillet 2026, recoupées avec une propriété ecommerce plus grande.
- 01A évolué
Votre sitemap.xml vient de gagner en importance. GPTBot et ClaudeBot ont tous deux porté la consommation de sitemap à un niveau supérieur en mars 2026 et ne sont jamais revenus en arrière. Si votre sitemap est obsolète, incomplet ou dépourvu de variantes linguistiques, les crawlers IA passeront à côté de votre contenu.
Six mois plus tard au 20/07/26La consommation de sitemap est montée d'un cran supplémentaire et s'y est maintenue. ClaudeBot en est désormais le consommateur dominant, et de loin, environ 6x Googlebot, et les deux bots récupéraient déjà des sitemaps en février : mars a donc marqué une escalade plutôt qu'un début.
- 02Tient toujours
robots.txt n'est pas universellement respecté. GPTBot et Meta-WebIndexer ne le consultent jamais. Si votre stratégie de contenu IA repose sur les directives robots.txt, sachez que deux des crawlers les plus actifs les ignorent totalement.
Six mois plus tard au 20/07/26GPTBot a fait 2 requêtes robots.txt pour 6 872 requêtes de contenu. Meta n'en a fait aucune sur 3 169. Confirmé pour les deux.
- 03Dépassé
Le trafic ChatGPT-User est un signal direct de citation de marque dans les conversations IA. Chaque requête correspond à une personne réelle qui colle votre URL dans ChatGPT. C'est du bouche-à-oreille mesurable, et il croît vite.
Six mois plus tard au 20/07/26En hausse de 11 % sur cinq mois, avec un creux au milieu : 3 827 en février contre 4 236 en juin. Le signal est réel, et la croissance s'est aplatie après la fenêtre que nous avions mesurée.
- 04Tient toujours
Les bots IA crawlent par rafales, pas en flux régulier. GPTBot a atteint 114 req/min sur une fenêtre de 3 minutes. Si votre serveur ne supporte pas les pics de trafic, les crawlers IA risquent d'être limités ou de rencontrer des erreurs pendant leurs passages d'indexation.
Six mois plus tard au 20/07/26Confirmé et amplifié. Le pic atteint désormais 270 requêtes par minute, avec quatre bots au-dessus de 130.
- 05Tient toujours
OpenAI et Anthropic exploitent chacun 3 bots distincts. Un pour l'entraînement et l'indexation, un pour la recherche, un pour les sessions utilisateur en direct. Bloquer l'un ne bloque pas les autres. Votre robots.txt a besoin de directives séparées pour chacun.
Six mois plus tard au 20/07/26Un plancher plutôt qu'un plafond. OpenAI en exploite désormais au moins quatre, dont un crawler publicitaire qui publie sa propre liste de plages IP. Trois chacun, c'est un plancher, pas un décompte.
- 06Dépassé
OAI-SearchBot et Googlebot sont les seuls bots à récupérer des images en volume. Si les images de vos articles portent du contenu utile (graphiques, schémas, visualisations de données), ce sont ces bots qui les exploiteront dans les résultats de recherche.
Six mois plus tard au 20/07/26Six bots récupèrent désormais une part d'images supérieure à celle de Googlebot. Les deux bots cités ici arrivent 7e et 10e. La récupération d'images est courante dans toute la population de crawlers.
- 07A évolué
ChatGPT-User n'extrait que du texte. Zéro image, zéro CSS, zéro JS. C'est votre contenu HTML qui est aspiré dans les conversations IA. Pour la visibilité IA, un texte structuré et clair compte plus que le design visuel.
Six mois plus tard au 20/07/26Presque, mais ce n'est plus zéro : 1,9 % d'images contre 95,3 % de pages. Le volet CSS et JavaScript est invérifiable, car le pipeline de logs supprime ces fichiers avant stockage.
- 08A évolué
Les crawlers IA ont des heures de pointe différentes. GPTBot frappe à 04:00 UTC. Claude-SearchBot culmine la nuit. PerplexityBot part en rafale à 23:00, 05:00 et 09:00. Si vous déployez des changements pendant les heures creuses américaines, les bots IA seront peut-être les premiers à les voir.
Six mois plus tard au 20/07/26Le schéma tient et chaque heure précise a bougé. GPTBot culmine désormais à 17:00 UTC, et c'est le crawler le plus concentré dans le temps que nous ayons mesuré, avec 21,4 % de tout son volume dans cette seule heure.
- 09A évolué
Meta est le crawler IA le plus agressif en volume. Meta-WebIndexer a envoyé plus de requêtes que tout autre bot de ce jeu de données, sans aucune vérification de robots.txt. Si vous ne suivez pas les crawlers de Meta, vous passez à côté du plus gros acteur.
Six mois plus tard au 20/07/26Ce constat allait au-devant des données au moment de sa rédaction ; les données le rattrapent aujourd'hui. Sur l'ensemble des six mois, Meta se classe 12e. En juillet, c'est le crawler IA le plus lourd de la propriété, après avoir été totalement absent jusqu'en mai.
- 10Dépassé
L'adoption de llms.txt reste théorique. Aucun bot IA n'a demandé /llms.txt sur 48 jours. Cela deviendra peut-être un standard, mais aucun crawler ne le cherche actuellement.
Six mois plus tard au 20/07/26Depuis, il est récupéré en continu, mais très majoritairement par des scanners, des auditeurs et des sondes de recherche plutôt que par les grands laboratoires. CCBot, ClaudeBot et Googlebot le récupèrent. GPTBot non.
- 11A évolué
Applebot fait un rendu complet de vos pages. Il récupère le CSS, le JS et les images (47 % de son trafic). Si votre contenu a besoin d'un rendu JavaScript pour être complet, Applebot le verra, mais la plupart des bots IA non.
Six mois plus tard au 20/07/26La direction est juste, le niveau est nettement plus bas : les images représentent 27,6 % du trafic d'Applebot, contre 47 % à l'époque. Le volet CSS et JavaScript est intestable ici, pour la même raison de pipeline que le constat 9 ci-dessus.
- 12Tient toujours
Le contenu technique et pratique est le plus cité dans les conversations IA. Les pages ChatGPT-User les plus visitées étaient toutes des guides d'implémentation et des explications techniques. Un contenu approfondi et spécifique gagne des citations IA.
Six mois plus tard au 20/07/26Le constat le plus robuste de la liste d'origine. Les douze premières destinations sont toutes des guides d'implémentation, des comparatifs d'outils ou des analyses techniques. Rien de générique, rien de promotionnel. Un seul guide de migration a capté 34 % de tout le trafic ChatGPT-User du réseau.
- 13Dépassé
Bytespider et CCBot ne consultent que robots.txt et ne crawlent jamais. Ils consomment vos directives robots.txt sans jamais aller plus loin. Cela peut changer, mais pour l'instant ils génèrent une charge de conformité sans aucune indexation de contenu.
Six mois plus tard au 20/07/26Situation inversée depuis notre mesure. Bytespider est désormais le troisième crawler le plus lourd de la propriété, et 94 % de ses 16 810 requêtes portent sur du contenu plutôt que sur la conformité.
- 14Tient toujours
Le volume de crawl IA peut basculer du jour au lendemain. GPTBot est passé de 0 à 187 requêtes en une seule semaine. Vos projections de budget de crawl doivent tenir compte de sauts brusques, pas d'une croissance progressive.
Six mois plus tard au 20/07/26Confirmé, avec un exemple plus net que celui cité à l'origine. Meta est passé de zéro à 2 615 requêtes par mois en huit semaines environ.
- 15Dépassé
L'analyse des IP révèle l'identité des bots. Le ratio IP/requêtes proche de 1:1 de ChatGPT-User prouve des sessions utilisateur individuelles. Les 2 IP de GPTBot prouvent une infrastructure centralisée. Les schémas d'IP aident à distinguer les récupérations déclenchées par de vrais utilisateurs d'un crawl automatisé.
Six mois plus tard au 20/07/26La méthode survit et chacun de ses chiffres a bougé. ChatGPT-User tourne désormais à 12,4 requêtes par IP sur 1 588 adresses. GPTBot utilise 129 IP, pas 2. L'empreinte proche de 1:1 décrite ici appartient désormais à Claude-User, à 1,4.
- 16Tient toujours
Des événements de crawl coordonnés se produisent entre familles de bots. GPTBot et OAI-SearchBot se sont déclenchés simultanément le 19 mars depuis la même infrastructure Microsoft. Quand un bot OpenAI monte en charge, attendez-vous à ce que les autres suivent.
Six mois plus tard au 20/07/26Confirmé indépendamment à la date exacte citée, l'un des deux seuls jours en six mois où les deux bots ont franchi ces seuils ensemble.
- 17Dépassé
Les bots dont vous n'avez jamais entendu parler passent déjà chez vous. PromptingBot, LinkupBot, Brightbot, Observer et d'autres crawlent activement du contenu. Le paysage des bots IA est plus vaste que ne le laissent penser les noms connus.
Six mois plus tard au 20/07/26Les quatre bots cités ont fait zéro requête sur les six nouveaux mois. L'idée de fond survit avec une distribution entièrement différente : la longue traîne est désormais dominée par les scanners llms.txt et les auditeurs de préparation à l'IA. Toute liste nominative a une durée de vie de quelques mois.
This data is representative of wislr.com only and should not be read as an overall industry trend. Our intent is to spark conversation, share data, and encourage brands to inspect this for themselves.
What Six Months of Logs Changed
L'étude d'origine a duré 48 jours sur une seule propriété. Ce retest couvre 154 864 requêtes classifiées sur trois propriétés entre le 1er février et le 13 juillet 2026, recoupées avec une propriété ecommerce plus grande totalisant 7,26 millions de requêtes, l'identité des bots étant résolue par user-agent face à une table de référence de 75 motifs.
L'étude initiale de 48 jours portait sur un seul site et le disait. Ce retest couvre trois propriétés que nous exploitons, désignées Site A, Site B et Site C, plus une propriété de comparaison plus grande. Nous n'associons pas ces libellés à des domaines : les chiffres sur six mois sont donc rapportés sans attribution.
Onze des dix-sept constats retestables ont bougé en cinq mois, six dépassés par de nouveaux comportements de crawl et cinq nettement modifiés. Ce taux est le résultat. Le schéma sous-jacent compte plus que n'importe quelle correction isolée : les comportements ont tenu et les chiffres ont bougé. Les rafales, les événements coordonnés par éditeur, le biais en faveur du contenu technique, tout cela est toujours là. Chaque nom de bot, ratio et heure de pointe que nous avions publiés a changé.
Meta went from absent to first in eight weeks
Le plus grand changement du jeu de données. meta-externalagent n'a rien enregistré du tout jusqu'en mai, une seule requête ce mois-là, puis 553 en juin et 2 615 sur les treize premiers jours de juillet. C'est aujourd'hui le crawler IA le plus lourd de la propriété, et juillet est un mois partiel : ce chiffre le sous-estime donc.
Sur l'ensemble des six mois, Meta se classe douzième. En juillet, il est premier. Les deux affirmations sont vraies, ce qui montre précisément pourquoi un classement sur une seule fenêtre est une mauvaise base pour une décision de budget de crawl. Il a par ailleurs fait zéro requête robots.txt sur 3 169 hits.
The bot rankings churn, the behaviours do not
Quatorze bots dont le volume suffit à un suivi mois par mois. Observez à quel point la forme de cette population ne se ressemble plus de février à juillet.
The IP fingerprint inverted
La lecture initiale utilisait les requêtes par IP pour distinguer les récupérations déclenchées par des utilisateurs d'un crawl centralisé. La méthode fonctionne toujours. Chacun de ses chiffres a bougé.
Image fetching is now common
Au moment de notre mesure, OAI-SearchBot et Googlebot étaient les seuls bots à récupérer des images en volume. La récupération d'images s'est depuis diffusée dans toute la population de crawlers : six bots affichent aujourd'hui une part supérieure à celle de Googlebot, et les deux bots cités à l'origine occupent la septième et la dixième place.
llms.txt is measured, not consumed
Au moment de notre mesure, aucun bot n'avait jamais demandé /llms.txt. Cela a complètement changé, mais pas dans le sens que souhaiteraient les promoteurs du standard. Il est récupéré en continu, presque exclusivement par des outils dont la raison d'être est de vérifier si vous en publiez un.
Crawlers de grands éditeurs identifiés en train de le récupérer : CCBot, ClaudeBot, Googlebot et GoogleOther. Absent notable : GPTBot.
Bytespider does not just check robots.txt
Celui-ci n'a pas dérivé, il s'est inversé. Bytespider est désormais le troisième crawler le plus lourd de la propriété et 94 % de ses requêtes portent sur du contenu.
What Held Up
Six des constats d'origine ont traversé la fenêtre plus longue intacts, et ce sont ceux qui décrivent un comportement plutôt que ceux qui désignent un leader.
Le contenu technique gagne les citations. Le constat le plus robuste de la liste d'origine. Les douze premières destinations ChatGPT-User sont toutes des guides d'implémentation, des comparatifs d'outils ou des analyses techniques. Rien de générique, rien de promotionnel. Un seul guide de migration a capté 6 716 requêtes, soit 34 % de tout le trafic ChatGPT-User du réseau.
GPTBot ignore toujours robots.txt. Deux requêtes robots.txt pour 6 872 requêtes de contenu. Meta n'en a fait aucune sur 3 169.
Les rafales se sont aggravées, pas atténuées. Les débits de pointe dépassent aujourd'hui largement les 114 requêtes par minute initialement rapportées.
Les éditeurs exploitent toujours des flottes de bots, et nous les avions sous-comptées. OpenAI exploite au moins quatre crawlers distincts, dont un crawler publicitaire qui publie sa propre liste de plages IP. Anthropic exploite ClaudeBot, Claude-User et Claude-SearchBot. Trois chacun était un plancher, pas un décompte.
Les événements coordonnés sont bien réels. Confirmé à la date exacte citée dans l'article d'origine : le 19 mars montre GPTBot à 206 requêtes et OAI-SearchBot à 114, l'un des deux seuls jours en six mois où les deux ont franchi ces seuils ensemble.
Les bots culminent toujours à des heures différentes, et chaque heure a bougé. GPTBot ne culmine plus à 04:00 UTC. Son pic est désormais à 17:00, et c'est le crawler le plus concentré dans le temps que nous ayons mesuré : 21,4 % de tout son volume sur six mois tombe dans cette seule heure de la journée.
What We Could Not Test
Deux constats apparents se sont révélés être des artefacts du mode de collecte des logs. Les deux méritent d'être signalés, car chacun aurait pu produire un titre affirmatif que les données ne soutiennent pas.
robots.txt est invisible sur la propriété de comparaison. Elle renvoie zéro requête robots.txt, quel que soit le bot, ce qui ressemble à un constat de conformité spectaculaire mais n'en est pas un. Ce site sert robots.txt depuis le edge du CDN : la requête n'atteint donc jamais la couche journalisée. Toutes les conclusions robots.txt présentées ici proviennent uniquement de la propriété principale.
Les constats sur le CSS et le JavaScript sont invérifiables dans un sens comme dans l'autre avec ces données. Le nettoyeur de logs supprime les fichiers .css, .js, les polices et les source maps avant stockage. Les constats 9 et 13 ne peuvent être testés que sur leur composante images.
Deux réserves plus mineures. Le jeu de données couvre trois propriétés liées plutôt qu'une seule, et le contenu le plus cité se trouve sur un seul site de ce réseau, ce qui concentre les constats sur les citations. Et juillet est un mois partiel, arrêté au 13 : les chiffres de juillet sous-estiment donc la réalité, Meta atteint la première place malgré cela.