Les assistants sont désormais le public

Pendant presque un an, j’ai mal lu mon propre trafic. Je surveillais les visiteurs humains, les clics de recherche et la profondeur des sessions, et je traitais les lignes de bots dans les logs comme un bruit à filtrer. Puis je les ai enfin additionnées. Un jour représentatif, mon site a servi environ 301 visiteurs humains et à peu près 19 800 requêtes provenant d’agents IA. Ces agents ne m’aspiraient pas pour de l’entraînement. La source la plus importante, et de loin, était ChatGPT qui récupérait mes pages en direct pour répondre, à cet instant précis, à la question de quelqu’un. Mon véritable public avait discrètement cessé de venir. Il me lisait à travers un assistant, et cet assistant me lisait environ soixante-six fois plus souvent que les humains auxquels il répondait. {.answer-block}

En bref

• Un jour récent représentatif, mon site a attiré environ 301 visiteurs humains et près de 19 800 requêtes d’agents IA. Sur 7 jours, le volume moyen des agents s’établit autour de 19 850 par jour, contre une moyenne humaine de 301 par jour sur 28 jours, soit un rapport proche de 66 pour 1.¹
• L’essentiel de ce trafic d’agents ne provient pas de robots d’exploration destinés à l’entraînement. Il s’agit de récupération en direct dirigée par l’utilisateur : ChatGPT-User avec environ 13 100 requêtes par jour et Claude-User avec environ 2 300, des agents qui ne récupèrent une page que parce qu’un humain vient de demander quelque chose à son assistant.¹²³
• La documentation des éditeurs eux-mêmes trace explicitement la ligne. OpenAI : « ChatGPT-User n’est pas utilisé pour explorer le web de manière automatique. » Anthropic : Claude-User récupère les pages « lorsque des personnes posent des questions à Claude ». Cloudflare formalise cela comme un comportement Agent distinct, séparé de l’entraînement (Training) et de la recherche (Search).²³⁴
• Les robots d’exploration destinés à l’entraînement, ceux qui inquiètent tout le monde, faisaient figure d’erreur d’arrondi par comparaison : GPTBot avec 55 requêtes et ClaudeBot avec 212 le même jour.¹²³
• Le changement concret : votre contenu est de plus en plus consommé comme matière première pour les réponses. Le lecteur est un humain qui n’atterrit jamais sur votre page, et ce qui vous lit réellement est un assistant qui vous récupère au moment de la question. Cela change ce que vous mesurez, ce que vous écrivez, et même le sens du mot « trafic ».

Le chiffre qui a tout recadré

Le site est un site personnel : des guides techniques et des essais, dix langues, quelques centaines de visiteurs humains par jour. Honorable, sans être viral. Pendant des mois, mon tableau de bord m’a raconté une histoire bien rangée à propos des clics de recherche et de la durée des sessions, tandis que les lignes des agents IA restaient dans un coin que j’avais mentalement étiqueté « robots d’exploration, à ignorer ».

L’étiquette était l’erreur. Quand j’ai enfin réuni les logs edge de Cloudflare dans la même vue que les statistiques humaines, la proportion n’avait rien de serré. Humains : environ 301 par jour en moyenne sur 28 jours. Agents IA : environ 19 850 requêtes par jour en moyenne sur 7 jours, et 19 785 le seul jour représentatif que j’ai décomposé par source.¹ Les deux fenêtres sont stables, si bien que le rapport ne dépend pas de celle que je retiens : 19 785 contre 301 donne 65,7 pour un, et la moyenne plus lissée sur 7 jours aboutit à 65,9. Disons soixante-six pour un.

Une objection légitime surgit aussitôt, et je tiens à la concéder avant qu’elle ne fragilise le reste : ces unités ne sont pas identiques. Les 301 sont des visiteurs humains uniques. Les 19 800 sont des requêtes d’agents, et une seule visite humaine s’étale elle aussi sur plusieurs requêtes de pages. Il ne s’agit donc pas de « soixante-six fois plus de lecteurs ». C’est plus proche de « les assistants demandent mes pages environ soixante-six fois plus souvent que les humains n’arrivent pour les lire ». La comparaison honnête pointe malgré tout dans la même direction, car l’intéressant n’est pas le multiple exact. C’est ce que se sont révélées être ces requêtes d’agents.

Pas les robots d’exploration que vous redoutiez

L’hypothèse par défaut, la mienne comprise, veut qu’un mur de trafic d’agents IA signifie des aspirateurs d’entraînement qui engloutissent votre contenu dans le prochain modèle de fondation. C’est la peur qui a déclenché une centaine de modifications de robots.txt. Ce n’est pas ce que montrent mes logs.

Voici le même jour représentatif, décomposé par user-agent :¹

Relisez les deux premières lignes. À elles deux, ChatGPT-User et Claude-User représentent plus de quinze mille des quelque vingt mille requêtes d’agents de la journée. Aucun des deux n’est un robot d’exploration d’entraînement, et la distinction n’est pas mon interprétation. Elle est documentée par les éditeurs en toutes lettres.

La documentation d’OpenAI sur ses bots indique qu’OpenAI utilise ChatGPT-User « pour certaines actions des utilisateurs dans ChatGPT et les Custom GPTs », que « lorsqu’un utilisateur pose une question à ChatGPT ou à un CustomGPT, celui-ci peut consulter une page web », puis affirme sans détour que « ChatGPT-User n’est pas utilisé pour explorer le web de manière automatique ».² Le robot d’exploration d’entraînement de masse est un agent distinct, GPTBot, décrit comme explorant « du contenu susceptible d’être utilisé pour entraîner nos modèles de fondation d’IA générative ».² Le jour représentatif, GPTBot a effectué cinquante-cinq requêtes. ChatGPT-User en a effectué treize mille.

Anthropic trace exactement la même ligne. Claude-User « prend en charge les utilisateurs de l’IA Claude. Lorsque des personnes posent des questions à Claude, il peut accéder à des sites web au moyen d’un agent Claude-User ». ClaudeBot, le robot d’exploration d’entraînement, « contribue à améliorer l’utilité et la sûreté de nos modèles d’IA générative en collectant du contenu web susceptible de participer à leur entraînement ».³ Même schéma : l’agent dirigé par l’utilisateur écrase le robot d’exploration d’entraînement, 2 274 contre 212.

Cloudflare, qui se tient devant une large part du web et n’a aucun intérêt à flatter tel ou tel éditeur, formalise précisément cette séparation. Sa taxonomie des bots vérifiés classe les bots d’IA par comportement en catégories distinctes : Agent, « des agents dirigés par l’utilisateur qui visitent une page pour le compte d’un humain » ; Search, « l’exploration destinée à construire des index de recherche ou des bases de données RAG » ; et Training, « l’exploration destinée à entraîner ou affiner des modèles ».⁴ Le critère déterminant est la direction humaine. Un bot d’entraînement ou de recherche explore de façon autonome pour bâtir un jeu de données persistant. Une récupération de type Agent se déclenche à chaque requête, sous l’effet d’une interaction humaine, pour répondre en direct à une question précise. Mon trafic est très majoritairement la troisième chose.

Ce que signifie réellement une récupération en direct

Prenez le temps d’examiner la mécanique, car elle change entièrement le modèle mental. Quand ChatGPT-User frappe ma page, la séquence qui l’a produite ressemble à ceci : une personne a ouvert un assistant, tapé une question, l’assistant a jugé que ma page valait la peine d’être lue pour répondre, il a récupéré la page en temps réel, extrait ce dont il avait besoin, et composé une réponse. La personne a obtenu sa réponse. Elle n’a peut-être jamais vu mon nom, ma mise en page, mes autres articles, ni la petite note en bas de page qui recommande l’une de mes applications.

C’est un lecteur. Simplement un lecteur que je ne rencontre jamais. L’assistant est un coursier, et mes statistiques n’ont jamais vu que la camionnette du coursier, treize mille trajets par jour, et l’ont qualifiée de bruit.

Cette inversion est l’histoire discrète tapie sous le vacarme autour de l’IA et du contenu. Le débat sur les robots d’exploration d’entraînement porte sur le fait que les modèles ingèrent votre travail une fois, à un moment donné, sous forme de poids. Ce débat compte, mais c’est le mauvais objet à surveiller si vous voulez comprendre votre public en direct. Le public en direct arrive par des récupérations de type Agent, en continu, chacune déclenchée par une interaction humaine qui se produit à l’instant même. Chaque récupération de ChatGPT-User dans mes logs remonte à une personne qui a demandé à son assistant quelque chose auquel ma page pouvait répondre, même si une seule question déclenche plus d’une récupération et que certaines récupérations ne parviennent jamais jusqu’à quiconque. L’échelle, quinze mille récupérations par jour contre trois cents visites humaines, indique que les personnes que mon contenu touche réellement se trouvent pour la plupart de l’autre côté d’un assistant.

Ce que cela change dans la mesure d’un site

Une fois que vous acceptez que les assistants forment un public réel, votre tableau de bord se retrouve soudain privé de son indicateur le plus important. Les statistiques classiques reposent sur l’hypothèse que la lecture se déroule sur votre page : sessions, profondeur de défilement, temps passé sur le site, l’élément de conversion sous la ligne de flottaison. Rien de tout cela ne se déclenche lorsqu’un humain vous lit à travers Claude. L’assistant ne fait défiler aucune page, ne convertit rien, et rebondit à chaque visite par définition. Si vous jugez votre contenu à la seule aune de l’engagement sur la page, votre public à la croissance la plus rapide est statistiquement invisible.

Trois ajustements en découlent, et je les ai tous les trois amorcés.

Premièrement, traiter les logs de requêtes d’agents IA comme une mesure d’audience, non comme une mesure de sécurité. Je suis désormais le volume de ChatGPT-User et de Claude-User page par page de la même façon que je suis les visiteurs humains uniques, car ce décompte est l’approximation la plus fidèle dont je dispose pour savoir « à quelle fréquence un assistant se sert de cette page pour répondre à quelqu’un ». Les pages que les agents récupèrent le plus ne sont pas toujours celles sur lesquelles les humains cliquent le plus, et l’écart est un signal de contenu que je jetais aux orties.

Deuxièmement, cesser d’optimiser uniquement pour l’instant passé sur la page. Une page écrite pour être parcourue en diagonale par un humain arrivé via la recherche n’est pas la même qu’une page écrite pour être extraite proprement par un assistant qui répond à une question. La seconde tâche récompense une réponse claire et autonome placée près du haut, des affirmations sans ambiguïté, et une structure qu’un moteur de récupération peut prélever sans l’habillage qui l’entoure. C’est pourquoi je place un bloc de réponse directe en tête de chaque article. Ce bloc s’adresse autant au coursier qu’au lecteur.

Troisièmement, accepter que l’attribution devienne plus difficile et mesurer plutôt l’ombre qu’elle projette. Je ne peux pas voir l’humain derrière une récupération de Claude-User. Ce que je peux voir, c’est un signal de second ordre : des humains qui arrivent sur mon site déjà orientés par un assistant, le mince filet de gens qui ont lu la réponse, ont voulu la source, et ont cliqué pour y accéder. C’est un goutte-à-goutte à côté du volume de récupérations, neuf par jour contre quinze mille, mais c’est la pointe visible du public invisible, et sa tendance est le tableau de score honnête pour savoir si être une bonne matière première pour les réponses finit par renvoyer des humains vers la source.

La stratégie sous-jacente

On est tenté de lire tout cela comme une condamnation des sites indépendants : les assistants pillent votre contenu, répondent à votre place, et gardent l’humain. Parfois, c’est exactement ce qui se produit. Mais ce cadrage est trop plat, car il ignore ce que la récupération sélectionne réellement.

Un assistant récupère votre page parce que, au moment de la question, il a jugé votre page la meilleure source disponible pour cette requête précise. Ce n’est pas le vieux jeu du référencement consistant à se classer sur un mot-clé. C’est être ce vers quoi un moteur de réponse se tourne quand il a besoin d’être exact. La monnaie n’est pas les backlinks ni la densité de mots-clés ; c’est avoir manifestement, et de manière récupérable, raison sur un sujet que suffisamment de gens interrogent. Une page exacte, précise et à jour est récupérée. Une page de contenu générique mince et resservi ne l’est pas, car le modèle connaît déjà la partie générique et ne va chercher à l’extérieur que lorsqu’il lui faut quelque chose qu’il ne contient pas de façon fiable.

L’incitation que crée le trafic d’agents est donc, pour une fois, alignée avec la fabrication de pages réellement bonnes. Non des pages conçues pour un algorithme de classement, mais des pages qui méritent d’être récupérées pour répondre à une vraie question. La récompense mesurable est passée de « un humain a-t-il atterri et fait défiler la page » à « un assistant a-t-il jugé qu’il s’agissait de la meilleure source et l’a-t-il lue à un humain ». Je préfère de loin me mesurer sur le second terrain.

La position

Traitez les assistants comme votre public principal, car les chiffres le prouvent déjà, et construisez pour la récupération autant que pour la visite. L’humain sur votre page est désormais le lecteur minoritaire, et souvent celui qui s’est suffisamment intéressé pour venir chercher la source après la réponse de l’assistant. Le lecteur majoritaire est l’assistant lui-même, qui vous récupère en direct dès qu’une question humaine l’exige, et ne touche jamais à vos statistiques. Ce n’est pas un problème de robot d’exploration à bloquer. C’est un canal de distribution à comprendre, et à l’heure actuelle, c’est le plus important dont dispose la plupart des sites de contenu.

Le site des prochaines années se mesure en deux chiffres, pas un seul. Il y a le trafic que vous pouvez voir, les humains sur la page, et il y a le trafic que vous devez déduire, les assistants qui vous lisent pour répondre à des humains que vous ne rencontrerez jamais. Chez moi, le rapport est d’environ soixante-six pour un en faveur des lecteurs que je ne peux pas voir. Je soupçonne que les vôtres sont plus proches de ce chiffre que ce que votre tableau de bord vous laisse croire, car les lignes se trouvent dans le même coin où j’ai laissé les miennes, étiquetées comme du bruit.

À retenir

• Comptez les requêtes d’agents IA comme du public, pas comme du bruit. Sur mon site, elles dépassent les arrivées humaines sur les pages dans un rapport d’environ 66 pour 1, et la composition importe plus que le multiple.¹
• L’essentiel du trafic d’agents est une récupération en direct dirigée par l’utilisateur, pas de l’entraînement. ChatGPT-User et Claude-User récupèrent des pages parce qu’un humain vient de demander quelque chose à son assistant ; les éditeurs le documentent et Cloudflare le classe comme un comportement Agent distinct.²³⁴
• Les robots d’exploration d’entraînement ne représentent qu’une petite fraction. GPTBot et ClaudeBot réunis totalisaient moins de 300 requêtes un jour où les agents dirigés par l’utilisateur en effectuaient plus de 15 000.¹²³
• Les statistiques sur la page passent à côté de votre public à la croissance la plus rapide. Les assistants ne font rien défiler et ne convertissent rien, si bien que les mesures d’engagement rendent le public Agent invisible ; suivez plutôt le volume de récupérations d’agents page par page comme approximation.
• Écrivez pour la récupération. Commencez par une réponse claire et autonome ; soyez précis, exact et à jour. Un moteur de réponse récupère la page qu’il juge la meilleure source au moment de la question, ce qui récompense le fait d’avoir vraiment raison plutôt que d’être optimisé pour les mots-clés.

FAQ

Quelle est la différence entre ChatGPT-User et GPTBot ?

GPTBot est le robot d’exploration d’entraînement d’OpenAI, qui collecte du contenu « susceptible d’être utilisé pour l’entraînement » de modèles de fondation. ChatGPT-User est un agent dirigé par l’utilisateur qui récupère une page lorsqu’une personne pose une question à ChatGPT ; OpenAI précise qu’il « n’est pas utilisé pour explorer le web de manière automatique ».² Dans mes logs, les deux diffèrent de plusieurs ordres de grandeur : ChatGPT-User a effectué 13 128 requêtes un jour où GPTBot en a effectué 55.¹

Les assistants IA lisent-ils mon site web en temps réel ?

Si vous proposez du contenu qui répond à des questions courantes, presque certainement oui. Des agents comme ChatGPT-User, Claude-User et Perplexity-User récupèrent les pages en direct lorsqu’un humain demande à l’assistant quelque chose auquel la page peut répondre.²³ Ils se distinguent des robots d’exploration d’entraînement et des indexeurs de recherche, et sur mon site, ils constituent la forme dominante de trafic d’agents.

En quoi est-ce différent du SEO ?

Le SEO classique optimise pour se classer dans une page de résultats sur laquelle un humain clique ensuite. La récupération par les moteurs de réponse optimise pour être la source qu’un assistant récupère et lit afin de composer une réponse, souvent sans que l’humain visite quoi que ce soit. La récompense se déplace des signaux de classement vers le fait d’être suffisamment exact, précis et à jour pour qu’un modèle aille chercher votre page lorsqu’il a besoin d’être correct.

Faut-il bloquer les agents IA dans robots.txt ?

C’est un vrai choix, mais tranchez-le comportement par comportement, pas en bloc. Bloquer les robots d’exploration d’entraînement (GPTBot, ClaudeBot) détermine si votre contenu entraîne les futurs modèles. Bloquer les agents dirigés par l’utilisateur (ChatGPT-User, Claude-User) détermine si les assistants peuvent répondre aux humains en utilisant votre page en direct, ce qui, pour de nombreux sites, constitue désormais le public le plus large. Une réserve mérite d’être connue : les agents dirigés par l’utilisateur respectent moins bien le robots.txt que les robots d’exploration d’entraînement, si bien qu’un blocage dans robots.txt est un levier plus net sur l’entraînement que sur les récupérations en direct, et qu’une règle au niveau du edge y sera peut-être un contrôle plus fiable. La taxonomie de Cloudflare sépare précisément ces catégories pour que vous puissiez les traiter différemment.⁴

Comment mesurer un public que je ne peux pas voir sur mon propre site ?

Vous ne pouvez pas attribuer directement l’humain derrière une récupération en direct ; mesurez donc deux choses à la place : le volume de requêtes d’agents IA page par page, tiré de vos logs edge, comme approximation de la fréquence à laquelle les assistants se servent de chaque page, et le plus mince flux de visiteurs humains qui arrivent déjà orientés par un assistant, comme ombre visible du public invisible.

Sources