现在,助手才是读者

这一年里的大部分时间,我都误读了自己的流量。我盯着真人访客、搜索点击和会话深度,把日志里那些机器人的记录当成噪声过滤掉。直到有一天,我真的把它们加了起来。在一个有代表性的日子里,我的网站接待了约301名真人访客,以及来自AI代理的约19,800次请求。这些代理并不是在为训练抓取我的内容。其中最大的单一来源,遥遥领先,是ChatGPT在实时抓取我的页面,好在那一刻回答某个人的问题。我真正的读者早已悄然不再造访。他们正通过助手来读我,而助手读我的频率,大约是它所服务的那些真人的六十六倍。 {.answer-block}

TL;DR

• 在最近一个有代表性的日子里,我的网站吸引了约301名真人访客和约19,800次AI代理请求。7天平均的代理请求量约为每天19,850次,而28天平均的真人访客约为每天301名,比例接近66比1。¹
• 这些代理流量大多并非训练爬虫,而是由用户驱动的实时检索:ChatGPT-User约每天13,100次请求,Claude-User约2,300次——这些代理抓取页面,仅仅是因为有真人刚刚向自己的助手提了个问题。¹²³
• 厂商自己的文档把界线划得很清楚。OpenAI:“ChatGPT-User不会以自动化的方式爬取网络。”Anthropic:Claude-User会“在个人向Claude提问时”进行抓取。Cloudflare则将其正式定义为一种独立的Agent(代理)行为,与训练(Training)和搜索(Search)相区分。²³⁴
• 相比之下,人人担心的那些训练爬虫不过是可以忽略的零头:同一天里,GPTBot只有55次请求,ClaudeBot为212次。¹²³
• 现实的转变在于:你的内容正越来越多地被当作答案的原料来消费。读者是一个从不真正落地到你页面的真人,而真正在读你的,是一个在提问的那一刻检索你的助手。这改变了你该衡量什么、该写什么,乃至“流量”一词究竟意味着什么。

那个重构了一切的数字

这是一个个人网站:技术指南和随笔,十种语言,每天几百名真人访客。体面,但谈不上爆红。几个月来,我的仪表盘讲述着一个关于搜索点击和会话时长的整洁故事,而那些AI代理的数据则被搁在一个角落——我在心里给它贴上了“爬虫,忽略”的标签。

贴标签本身就是错误。当我终于把Cloudflare的边缘日志和真人分析放进同一个视图,那个比例根本不接近。真人:28天平均每天约301名。AI代理:7天平均每天约19,850次请求,而在我按来源拆解的那个代表性日子里是19,785次。¹两个时间窗口都很稳定,所以比例并不取决于我挑哪一个:19,785对301是65.7比1,而更平滑的7天平均落在65.9。就叫它六十六比一吧。

一个合理的反驳立刻就来了,我想在它动摇其他一切之前先承认它:这两个单位并不相同。301是独立真人访客,19,800是代理请求,而一次真人访问本身也会跨越好几次页面请求。所以这并不是“读者多了六十六倍”,而更接近于“助手请求我页面的频率,大约是真人前来阅读的六十六倍”。诚实的比较仍然指向同一个方向,因为有意思的地方并不是那个确切的倍数,而是这些代理请求最终究竟是什么。

并不是你所担心的那种爬虫

默认的假设——包括我自己的——是一大堵AI代理流量意味着训练抓取器正把你的内容吸进下一个基础模型。正是这种担忧催生了成百上千次robots.txt的修改。但我的日志显示的并非如此。

下面是同一个代表性日子,按user-agent拆解:¹

再看一眼最上面两行。ChatGPT-User和Claude-User合起来,占了这一天约两万次代理请求中的一万五千多次。两者都不是训练爬虫,而且这个区分并非我的个人解读,而是厂商用大白话写在文档里的。

OpenAI的机器人文档写道,OpenAI将ChatGPT-User用于“ChatGPT和自定义GPT中的某些用户操作”,“当用户向ChatGPT或自定义GPT提问时,它可能会访问某个网页”,随后直截了当地声明:“ChatGPT-User不会以自动化的方式爬取网络。”²承担批量训练任务的是另一个独立的代理GPTBot,文档称其爬取“可能用于训练我们生成式AI基础模型的内容”。²在我那个代表性的日子里,GPTBot发出了五十五次请求,而ChatGPT-User发出了一万三千次。

Anthropic划下了完全相同的界线。Claude-User“服务于Claude AI的用户。当个人向Claude提问时,它可能会使用Claude-User代理访问网站”。而作为训练爬虫的ClaudeBot,“通过收集有可能用于训练的网络内容,来帮助提升我们生成式AI模型的实用性与安全性”。³形态如出一辙:由用户驱动的代理让训练爬虫相形见绌,2,274对212。

Cloudflare挡在互联网相当大一部分流量的前面,也没有讨好任何单一厂商的动机,它把这一区分正式化了。其经过验证的机器人分类法按行为把AI机器人划入不同类别:Agent(代理),即“代表真人访问页面的、由用户驱动的代理”;Search(搜索),即“为构建搜索索引或RAG数据库而爬取”;以及Training(训练),即“为训练或微调模型而爬取”。⁴起决定作用的判据是人的驱动。训练机器人或搜索机器人自主爬取,以构建一个持久的数据集;而一次Agent抓取,则是由一次人的交互按请求触发,为的是实时回答一个具体的问题。我的流量,压倒性地属于第三种。

一次实时抓取到底意味着什么

不妨细想一下其中的机制,因为它彻底改变了心智模型。当ChatGPT-User访问我的页面时,产生这次访问的一连串动作是这样的:一个人打开了助手,输入了一个问题,助手判断我的页面值得一读以便作答,于是实时抓取了页面,提取了它需要的内容,并组织出一段回复。这个人得到了答案。他也许从未见过我的名字、我的排版、我的其他文章,或是页脚那条推荐我某个应用的小小提示。

这就是一位读者,只不过是一位我永远不会遇见的读者。助手是一个信使,而我的分析工具只看到了信使的货车——一天一万三千趟——却把它叫作噪声。

这种倒置,正是围绕AI与内容的喧嚣之下那个安静的故事。训练爬虫之争,争的是模型会不会在某个时刻把你的作品吸收一次、固化进权重。那场争论固然重要,但如果你想理解自己的实时读者,它就盯错了地方。实时读者是通过Agent抓取持续到来的,每一次都由一次此刻正在发生的人的交互所触发。我日志里的每一次ChatGPT-User抓取,都可以追溯到一个人——他向自己的助手问了某个我的页面能回答的问题,哪怕一个问题会触发不止一次抓取,也哪怕有些抓取从未呈现给任何人。这个规模——一天一万五千次抓取对三百次真人访问——说明我的内容真正触及的人,大多在助手的另一头。

这如何改变了对一个网站的衡量

一旦你承认助手是真实的读者,你的仪表盘就突然缺了最重要的那块表。标准的分析工具建立在一个假设之上:阅读发生在你的页面上——会话、滚动深度、停留时长、首屏以下的转化元素。当一个人通过Claude来读你时,这些统统不会触发。助手不滚动、不转化,而且从定义上就在每一次访问时“跳出”。如果你只用页面上的互动来评判自己的内容,那么你增长最快的读者在统计上是隐形的。

由此引出三项调整,而我已经开始逐一去做。

第一,把AI代理的请求日志当作一项读者指标,而不是安全指标。如今,我像跟踪真人独立访客那样,逐页跟踪ChatGPT-User和Claude-User的请求量,因为这个数字是我手头最接近“一个助手多频繁地用这个页面去回答某人”的替代指标。代理抓取最多的页面,未必就是真人点击最多的页面,而这中间的差距,正是我此前一直在丢弃的一个内容信号。

第二,别再只为页面上的那一刻做优化。为一个经搜索落地的真人快速浏览而写的页面,和为一个正在作答的助手干净利落地提取而写的页面,不是一回事。后一项工作更青睐靠近顶部的、清晰而自足的答案,毫不含糊的论断,以及一种检索器不必连同周边框架就能提取的结构。这正是我在每篇文章开头都放一个直接答案块的原因。那个块既是给读者的,也同样是给信使的。

第三,接受归因会变得更难,转而去衡量它投下的影子。我看不见一次Claude-User抓取背后的那个人。我能看见的,是一个二阶信号:那些到达我网站时已经由助手转介而来的真人——读了答案、想要来源、于是点击进来的那一小股人流。相比抓取量,这不过是涓涓细流,一天九个对一万五千次,但它是那个隐形读者群露出水面的顶端;而它的走势,正是一块诚实的记分牌,记录着做好“答案原料”这件事,最终究竟会不会把真人送回到源头。

底层的策略

人们很容易把这一切读成独立网站的末日:助手把你的内容采空,替你作答,再把那个人留给自己。有时候,事情确实如此。但这种框定太过扁平,因为它忽略了抓取实际上是在筛选什么。

助手之所以抓取你的页面,是因为在提问的那一刻,它判定就那个具体查询而言,你的页面是可得的最佳来源。这不是那个围绕关键词排名的老式搜索游戏,而是要成为答案引擎在需要正确答案时所倚仗的那个东西。通行的货币不再是反向链接或关键词密度,而是就足够多人会问的某件事,能够被证实、可被检索地给出正确答案。一个准确、具体、且时效性强的页面会被抓取;一个内容单薄、只是把大路货重新复述一遍的页面则不会,因为大路货那部分模型早已知道,它只有在需要某样自己无法可靠掌握的东西时才会向外伸手。

所以,Agent流量所创造的激励,难得地与做出真正优秀的页面这件事对齐了。不是为某个排名算法精心炮制的页面,而是值得为回答一个真实问题而被检索的页面。可衡量的回报,已经从“有没有真人落地并滚动”转移到了“有没有助手判定这是最佳来源、并把它读给了一个人”。这第二种竞争,我更乐意参加。

我的立场

把助手当作你的首要读者,因为就数字而言它们已经是了;并且要为抓取而建设,一如为访问而建设。如今,你页面上的那个人是少数派读者,而且往往是那个在助手作答之后,仍在意到愿意来寻找源头的人。多数派读者是助手本身,它在任何一个真人问题需要时实时检索你,却从不触碰你的分析数据。这不是一个需要拦截的爬虫问题,而是一条需要去理解的分发渠道——而眼下,它是大多数内容网站所拥有的最大的一条。

未来几年的网站,要用两个数字来衡量,而不是一个。有你看得见的流量——页面上的真人;也有你必须去推断的流量——助手为了回答你永远不会遇见的人而在读你。我的这两个数字之比,大约是六十六比一,而且偏向那些我看不见的读者。我怀疑你的比例,比你的仪表盘告诉你的更接近这个数——因为那些数据行,正躺在我当初把自己那些搁下的同一个角落里,贴着噪声的标签。

核心要点

• 把AI代理请求算作读者,而非噪声。 在我的网站上,它们的数量以大约66比1超过真人的页面到达数,而其构成比那个倍数更重要。¹
• 代理流量大多是实时的、由用户驱动的检索,而非训练。 ChatGPT-User和Claude-User抓取页面,是因为有真人刚刚向自己的助手提了问;厂商在文档中记录了这一点,Cloudflare也将其归为一种独立的Agent行为。²³⁴
• 训练爬虫只占很小一部分。 在由用户驱动的代理发出超过15,000次请求的那一天,GPTBot和ClaudeBot加起来还不到300次。¹²³
• 页面分析会漏掉你增长最快的读者。 助手不滚动、不转化,于是互动指标让Agent读者群变得隐形;不妨改用逐页的代理抓取量作为替代指标来跟踪。
• 为检索而写。 以清晰、自足的答案开头;做到具体、准确、时效性强。答案引擎会在提问的那一刻抓取它判定为最佳来源的页面,这奖励的是真正正确,而不是关键词优化。

常见问题

ChatGPT-User和GPTBot有什么区别?

GPTBot是OpenAI的训练爬虫,收集“可能用于训练”基础模型的内容。ChatGPT-User则是一个由用户驱动的代理,当有人向ChatGPT提问时抓取页面;OpenAI表示它“不会以自动化的方式爬取网络”。²在我的日志里,两者相差数个数量级:某一天ChatGPT-User发出了13,128次请求,GPTBot只有55次。¹

AI助手正在实时读取我的网站吗?

如果你提供的内容能回答常见问题,那几乎可以肯定是的。当有人向助手问了页面能回答的问题时,ChatGPT-User、Claude-User、Perplexity-User这类代理会实时抓取页面。²³它们既有别于训练爬虫,也有别于搜索索引器,而在我的网站上,它们是代理流量中占主导的形式。

这和SEO有什么不同?

经典的SEO优化的是在结果页上排名,好让一个人随后去点击。而答案引擎的检索,优化的是成为助手为组织答案而抓取并阅读的那个来源——往往那个人根本不会来访问。回报从排名信号,转向了足够准确、具体、时效性强,以至于模型在需要正确答案时会向你的页面伸手。

我应该在robots.txt里屏蔽AI代理吗?

这是个实实在在的选择,但要按行为逐一决定,而不是一刀切。屏蔽训练爬虫(GPTBot、ClaudeBot)影响的是你的内容会不会训练未来的模型。屏蔽由用户驱动的代理(ChatGPT-User、Claude-User)影响的是助手能不能实时用你的页面来回答真人——而对许多网站来说,这如今是最大的读者群。有一点值得注意:比起训练爬虫,由用户驱动的代理在遵守robots.txt方面的记录要差一些,所以robots.txt屏蔽对训练是一个更清晰的杠杆,对实时抓取则未必;在那里,边缘规则或许是更可靠的控制手段。Cloudflare的分类法把这些类别精确地区分开,好让你能区别对待。⁴

我该如何衡量一个在自己网站上看不见的读者群?

你无法直接归因于一次实时抓取背后的那个人,所以转而衡量两样东西:来自边缘日志的、逐页的AI代理请求量,作为助手多频繁地使用每个页面的替代指标;以及那一小股到达时已由助手转介而来的真人访客,作为那个隐形读者群露出水面的影子。

来源