Agora os assistentes são o público

Durante quase um ano inteiro, li meu próprio tráfego de forma errada. Eu acompanhava os visitantes humanos, os cliques de busca e a profundidade das sessões, e tratava as linhas de bots nos logs como ruído a ser filtrado. Então resolvi de fato somá-las. Em um dia representativo, meu site atendeu cerca de 301 visitantes humanos e aproximadamente 19.800 requisições de agentes de IA. Os agentes não estavam me raspando para treinamento. A maior fonte isolada, com folga, era o ChatGPT buscando minhas páginas ao vivo para responder à pergunta de alguém naquele exato momento. Meu público de verdade tinha, silenciosamente, parado de me visitar. Ele estava me lendo através de um assistente, e o assistente me lia cerca de sessenta e seis vezes mais do que os humanos que ele respondia. {.answer-block}

TL;DR

• Em um dia recente representativo, meu site atraiu ~301 visitantes humanos e ~19.800 requisições de agentes de IA. O volume médio de agentes em 7 dias é de ~19.850/dia contra uma média humana de 28 dias de ~301/dia, uma proporção próxima de 66 para 1.¹
• A maior parte desse tráfego de agentes não vem de rastreadores de treinamento. É recuperação ao vivo direcionada pelo usuário: ChatGPT-User com ~13.100 requisições/dia e Claude-User com ~2.300, agentes que buscam uma página apenas porque um humano acabou de perguntar algo ao seu assistente.¹²³
• A própria documentação dos fornecedores traça a linha de forma explícita. OpenAI: “o ChatGPT-User não é usado para rastrear a web de forma automática.” Anthropic: o Claude-User busca “quando indivíduos fazem perguntas ao Claude.” A Cloudflare formaliza isso como um comportamento Agent distinto, separado de Training e Search.²³⁴
• Os rastreadores de treinamento com que todo mundo se preocupa foram um erro de arredondamento em comparação: GPTBot com 55 requisições e ClaudeBot com 212 no mesmo dia.¹²³
• A mudança prática: seu conteúdo é cada vez mais consumido como substrato de resposta. O leitor é um humano que nunca chega à sua página, e o que de fato lê você é um assistente recuperando seu conteúdo no momento da pergunta. Isso muda o que você mede, o que você escreve e até o que “tráfego” significa.

O número que reformulou tudo

O site é pessoal: guias técnicos e ensaios, dez idiomas, algumas centenas de visitantes humanos por dia. Respeitável, não viral. Durante meses, meu dashboard contou uma história arrumadinha sobre cliques de busca e duração de sessão, e as linhas de agentes de IA ficavam num canto que eu mentalmente rotulava como “rastreadores, ignorar.”

O rótulo é que era o erro. Quando finalmente juntei os logs de edge da Cloudflare na mesma visão que as análises humanas, a proporção não era nem perto. Humanos: cerca de 301 por dia numa média de 28 dias. Agentes de IA: cerca de 19.850 requisições por dia numa média de 7 dias, e 19.785 no único dia representativo que detalhei por fonte.¹ As duas janelas são estáveis, então a proporção não depende de qual eu escolho: 19.785 contra 301 dá 65,7 para um, e a média suavizada de 7 dias fica em 65,9. Chame de sessenta e seis para um.

Uma objeção justa surge de imediato, e quero admiti-la antes que ela derrube todo o resto: essas unidades não são idênticas. Os 301 são visitantes humanos únicos. As 19.800 são requisições de agentes, e uma única visita humana também abrange várias requisições de página. Então isso não é “sessenta e seis vezes mais leitores”. É mais próximo de “os assistentes solicitam minhas páginas cerca de sessenta e seis vezes mais do que os humanos chegam para lê-las”. A comparação honesta ainda aponta na mesma direção, porque a parte interessante não é o múltiplo exato. É o que as requisições de agentes se revelaram ser.

Não são os rastreadores com que você se preocupava

A suposição padrão, a minha incluída, é que uma parede de tráfego de agentes de IA significa raspadores de treinamento sugando seu conteúdo para o próximo foundation model. É esse o medo que provocou uma centena de edições no robots.txt. Não é o que meus logs mostram.

Aqui está o mesmo dia representativo, detalhado por user-agent:¹

Leia de novo as duas primeiras linhas. ChatGPT-User e Claude-User juntos respondem por mais de quinze mil das cerca de vinte mil requisições de agentes do dia. Nenhum dos dois é rastreador de treinamento, e a distinção não é interpretação minha. Está documentada pelos fornecedores em linguagem clara.

A documentação de bots da OpenAI diz que a OpenAI usa o ChatGPT-User “para certas ações do usuário no ChatGPT e em Custom GPTs”, que “quando usuários fazem uma pergunta ao ChatGPT ou a um CustomGPT, ele pode visitar uma página web” e, então, afirma categoricamente que “o ChatGPT-User não é usado para rastrear a web de forma automática”.² O rastreador de treinamento em massa é um agente separado, o GPTBot, descrito como aquele que rastreia “conteúdo que pode ser usado no treinamento dos nossos foundation models de IA generativa”.² No meu dia representativo, o GPTBot fez cinquenta e cinco requisições. O ChatGPT-User fez treze mil.

A Anthropic traça exatamente a mesma linha. O Claude-User “dá suporte aos usuários de IA do Claude. Quando indivíduos fazem perguntas ao Claude, ele pode acessar sites usando um agente Claude-User.” O ClaudeBot, o rastreador de treinamento, “ajuda a aprimorar a utilidade e a segurança dos nossos modelos de IA generativa coletando conteúdo da web que poderia potencialmente contribuir para o treinamento deles.”³ O mesmo formato: o agente direcionado pelo usuário faz o rastreador de treinamento parecer minúsculo, 2.274 contra 212.

A Cloudflare, que se posiciona na frente de uma grande fatia da web e não tem incentivo para bajular nenhum fornecedor específico, formaliza exatamente essa separação. Sua taxonomia de bots verificados classifica os bots de IA por comportamento em categorias distintas: Agent, “agentes direcionados pelo usuário que visitam uma página em nome de um humano”; Search, “rastreamento para construir índices de busca ou bases de dados de RAG”; e Training, “rastreamento para treinar ou fazer fine-tuning de modelos.”⁴ O discriminador que importa é a direção humana. Um bot de treinamento ou de busca rastreia de forma autônoma para construir um conjunto de dados persistente. Uma busca do tipo Agent é disparada por requisição, por uma interação humana, para responder a uma pergunta específica ao vivo. Meu tráfego é, de forma esmagadora, a terceira coisa.

O que uma busca ao vivo realmente significa

Pare para pensar na mecânica, porque ela muda completamente o modelo mental. Quando o ChatGPT-User acessa minha página, a sequência que o produziu se parece com isto: uma pessoa abriu um assistente, digitou uma pergunta, o assistente decidiu que minha página valia a leitura para responder, buscou a página em tempo real, extraiu o que precisava e compôs uma resposta. A pessoa obteve sua resposta. Talvez ela nunca tenha visto meu nome, meu layout, meus outros posts ou a pequena nota no rodapé recomendando um dos meus apps.

Isso é um leitor. É simplesmente um leitor que eu nunca conheço. O assistente é um entregador, e minhas análises só enxergaram a van do entregador, treze mil viagens por dia, e chamaram isso de ruído.

Essa inversão é a história silenciosa por baixo de todo o barulho sobre IA e conteúdo. O debate sobre rastreadores de treinamento gira em torno de se os modelos ingerem seu trabalho uma vez, em algum momento, para dentro dos pesos. Esse debate importa, mas é a coisa errada para observar se você quer entender seu público ao vivo. O público ao vivo chega por meio de buscas do tipo Agent, continuamente, cada uma disparada por uma interação humana acontecendo agora mesmo. Toda busca de ChatGPT-User nos meus logs remonta a uma pessoa que perguntou ao seu assistente algo que minha página poderia responder, mesmo que uma única pergunta acione mais de uma busca e algumas buscas nunca cheguem a ninguém. A escala, quinze mil buscas por dia contra trezentas visitas humanas, diz que as pessoas que meu conteúdo de fato alcança estão, em sua maioria, do outro lado de um assistente.

O que isso muda sobre medir um site

Depois que você aceita que os assistentes são um público de verdade, de repente falta o medidor mais importante do seu painel de instrumentos. As análises padrão são construídas sobre a suposição de que a leitura acontece na sua página: sessões, profundidade de rolagem, tempo no site, o elemento de conversão abaixo da dobra. Nada disso é acionado quando um humano lê você através do Claude. O assistente não rola nada, não converte nada e, por definição, registra rejeição a cada visita. Se você julga seu conteúdo apenas pelo engajamento na página, seu público que mais cresce é estatisticamente invisível.

Três ajustes se seguem, e eu já comecei a fazer os três.

Primeiro, trate os logs de requisições de agentes de IA como uma métrica de público, não como uma métrica de segurança. Agora eu acompanho o volume de ChatGPT-User e Claude-User por página do mesmo jeito que acompanho os visitantes humanos únicos, porque essa contagem é o proxy mais próximo que tenho de “com que frequência um assistente está usando esta página para responder a alguém”. As páginas que os agentes mais buscam nem sempre são as páginas em que os humanos mais clicam, e essa diferença é um sinal de conteúdo que eu estava jogando fora.

Segundo, pare de otimizar somente para o momento na página. Uma página escrita para ser lida por cima por um humano que chegou via busca não é a mesma coisa que uma página escrita para ser extraída de forma limpa por um assistente respondendo a uma pergunta. O segundo trabalho recompensa uma resposta clara e autocontida logo no topo, afirmações inequívocas e uma estrutura que um recuperador consegue extrair sem os elementos ao redor. É por isso que coloco um bloco de resposta direta no início de cada post. Esse bloco é tanto para o entregador quanto para o leitor.

Terceiro, aceite que a atribuição fica mais difícil e meça, em vez disso, a sombra que ela projeta. Não consigo ver o humano por trás de uma busca do Claude-User. O que consigo ver é um sinal de segunda ordem: humanos que chegam ao meu site já referenciados por um assistente, o pequeno fluxo de pessoas que leram a resposta, quiseram a fonte e clicaram para chegar até ela. É um fio de água perto do volume de buscas, nove por dia contra quinze mil, mas é a ponta visível do público invisível, e sua tendência é o placar honesto para saber se ser um bom substrato de resposta acaba, no fim, mandando humanos de volta à fonte.

A estratégia por baixo

Há uma tentação de ler tudo isso como uma sentença de morte para os sites independentes: os assistentes exploram seu conteúdo até a última migalha, respondem no seu lugar e ficam com o humano. Às vezes é exatamente isso que acontece. Mas esse enquadramento é raso demais, porque ignora o que a busca de fato está selecionando.

Um assistente busca sua página porque, no momento da pergunta, julgou que sua página era a melhor fonte disponível para aquela consulta específica. Isso não é o velho jogo de busca de ranquear para uma palavra-chave. É ser aquilo que um mecanismo de resposta procura quando precisa estar correto. A moeda não são backlinks nem densidade de palavras-chave; é estar comprovada e recuperavelmente certo sobre algo que gente suficiente pergunta. Uma página que é precisa, específica e atual é buscada. Uma página de conteúdo genérico, raso e requentado, não — porque o modelo já conhece a parte genérica e só vai buscar lá fora quando precisa de algo que não contém de forma confiável.

Então o incentivo que o tráfego do tipo Agent cria está, pela primeira vez, alinhado com fazer páginas genuinamente boas. Não páginas projetadas para um algoritmo de ranqueamento, mas páginas que valem a pena recuperar para responder a uma pergunta real. A recompensa mensurável deixou de ser “um humano chegou e rolou a página” para ser “um assistente julgou esta a melhor fonte e a leu para um humano”. Prefiro competir pela segunda.

A posição

Trate os assistentes como seu público principal, porque, pelos números, eles já são, e construa tanto para a busca quanto para a visita. O humano na sua página agora é o leitor minoritário, e muitas vezes aquele que se importou o suficiente para vir atrás da fonte depois que o assistente respondeu. O leitor majoritário é o próprio assistente, recuperando você ao vivo sempre que uma pergunta humana exige, e nunca tocando nas suas análises. Isso não é um problema de rastreador a ser bloqueado. É um canal de distribuição a ser entendido e, neste momento, é o maior que a maioria dos sites de conteúdo tem.

O site dos próximos anos se mede em dois números, não um. Há o tráfego que você consegue ver, humanos na página, e há o tráfego que você precisa inferir, assistentes lendo você para responder a humanos que você nunca vai conhecer. Os meus ficam em cerca de sessenta e seis para um a favor dos leitores que não consigo ver. Desconfio que os seus estão mais perto disso do que seu dashboard está lhe dizendo, porque as linhas estão largadas no mesmo canto onde larguei as minhas, rotuladas como ruído.

Principais conclusões

• Conte as requisições de agentes de IA como público, não como ruído. No meu site elas superam as chegadas humanas às páginas em cerca de 66 para 1, e a composição importa mais do que o múltiplo.¹
• A maior parte do tráfego de agentes é recuperação ao vivo direcionada pelo usuário, não treinamento. ChatGPT-User e Claude-User buscam páginas porque um humano acabou de perguntar algo ao seu assistente; os fornecedores documentam isso e a Cloudflare classifica como um comportamento Agent distinto.²³⁴
• Os rastreadores de treinamento são uma fração pequena. GPTBot e ClaudeBot somados ficaram abaixo de 300 requisições num dia em que os agentes direcionados pelo usuário fizeram mais de 15.000.¹²³
• As análises na página não enxergam seu público que mais cresce. Os assistentes não rolam nada e não convertem nada, então as métricas de engajamento tornam o público Agent invisível; em vez disso, acompanhe o volume de buscas de agentes por página como um proxy.
• Escreva para a recuperação. Comece com uma resposta clara e autocontida; seja específico, preciso e atual. Um mecanismo de resposta busca a página que julga a melhor fonte no momento da pergunta, o que recompensa estar genuinamente certo em vez de estar otimizado para palavras-chave.

FAQ

Qual é a diferença entre ChatGPT-User e GPTBot?

O GPTBot é o rastreador de treinamento da OpenAI, que coleta conteúdo que “pode ser usado no treinamento” de foundation models. O ChatGPT-User é um agente direcionado pelo usuário que busca uma página quando uma pessoa faz uma pergunta ao ChatGPT; a OpenAI afirma que ele “não é usado para rastrear a web de forma automática”.² Nos meus logs, os dois diferem por ordens de magnitude: o ChatGPT-User fez 13.128 requisições num dia em que o GPTBot fez 55.¹

Os assistentes de IA estão lendo meu site em tempo real?

Se você publica conteúdo que responde a perguntas comuns, quase certamente sim. Agentes como ChatGPT-User, Claude-User e Perplexity-User buscam páginas ao vivo quando um humano pergunta ao assistente algo que a página pode responder.²³ Eles são distintos dos rastreadores de treinamento e dos indexadores de busca e, no meu site, são a forma dominante de tráfego de agentes.

Em que isso difere do SEO?

O SEO clássico otimiza para ranquear numa página de resultados que um humano então clica. A recuperação por mecanismo de resposta otimiza para ser a fonte que um assistente busca e lê para compor uma resposta, muitas vezes sem que o humano visite a página de forma alguma. A recompensa desloca-se dos sinais de ranqueamento para ser preciso, específico e atual o bastante para que um modelo procure sua página quando precisa estar correto.

Devo bloquear os agentes de IA no robots.txt?

É uma escolha real, mas decida por comportamento, não em bloco. Bloquear rastreadores de treinamento (GPTBot, ClaudeBot) afeta se seu conteúdo treina modelos futuros. Bloquear agentes direcionados pelo usuário (ChatGPT-User, Claude-User) afeta se os assistentes conseguem responder a humanos usando sua página ao vivo, o que para muitos sites é hoje o maior público. Uma ressalva que vale conhecer: os agentes direcionados pelo usuário têm um histórico mais fraco de respeitar o robots.txt do que os rastreadores de treinamento, então um bloqueio no robots.txt é uma alavanca mais clara sobre o treinamento do que sobre as buscas ao vivo, e uma regra no edge pode ser o controle mais confiável nesse caso. A taxonomia da Cloudflare separa essas categorias com precisão justamente para que você possa tratá-las de forma diferente.⁴

Como eu meço um público que não consigo ver no meu próprio site?

Você não consegue atribuir diretamente o humano por trás de uma busca ao vivo, então meça duas coisas em vez disso: o volume de requisições de agentes de IA por página, a partir dos seus logs de edge, como um proxy de com que frequência os assistentes usam cada página, e o fluxo menor de visitantes humanos que chegam já referenciados por um assistente, como a sombra visível do público invisível.

Fontes