現在,AI助理才是你的讀者

將近一年來,我一直誤讀了自己的流量。我盯著真人訪客、搜尋點擊與會話深度,卻把日誌裡那些機器人的紀錄當成該濾掉的雜訊。直到我真的把它們加總起來。在某個具代表性的日子裡,我的網站接待了約301位真人訪客,以及來自AI代理的約19,800次請求。這些代理並不是為了訓練而抓取我的內容。占比最高、而且遙遙領先的單一來源,是ChatGPT為了當下回答某人的問題,即時擷取我的網頁。我真正的讀者早已悄悄不再造訪。他們透過助理在讀我,而這個助理讀我的次數,大約是它所服務的那些真人的六十六倍。 {.answer-block}

TL;DR

• 在最近一個具代表性的日子裡,我的網站吸引了約301位真人訪客與約19,800次AI代理請求。以7天平均來看,代理流量約為每天19,850次,而真人的28天平均約為每天301位,比例接近66比1。¹
• 這些代理流量多數並非訓練爬蟲,而是由使用者觸發的即時擷取:ChatGPT-User約為每天13,100次請求,Claude-User約為2,300次,這些代理擷取網頁,純粹是因為某位真人剛剛向他們的助理提出了問題。¹²³
• 各家廠商自己的文件都明白劃出了界線。OpenAI:「ChatGPT-User不會以自動化方式爬取網路。」Anthropic:Claude-User會在「使用者向Claude提問時」進行擷取。Cloudflare則正式將其定義為獨立的Agent行為,與訓練(Training)和搜尋(Search)區隔開來。²³⁴
• 相較之下,大家憂心的那些訓練爬蟲根本微不足道:同一天裡,GPTBot只有55次請求,ClaudeBot也只有212次。¹²³
• 這帶來的實際轉變是:你的內容愈來愈被當作「答案素材」來消費。讀者是一位從未真正造訪你網頁的真人,而真正在讀你的,是一個在提問當下把你擷取下來的助理。這改變了你該衡量什麼、該寫什麼,甚至改變了「流量」二字的意義。

那個讓一切改觀的數字

這是個人網站:技術指南與隨筆,支援十種語系,每天幾百位真人訪客。體面,但談不上爆紅。好幾個月來,我的儀表板都在講一個關於搜尋點擊與會話長度的整齊故事,而那些AI代理的數據,則被我在心裡歸到「爬蟲,略過」的那個角落。

這個歸類本身就是錯誤。當我終於把Cloudflare的邊緣日誌和真人分析放進同一個視圖,兩者的比例根本天差地遠。真人:以28天平均計,每天約301位。AI代理:以7天平均計,每天約19,850次請求;在我按來源拆解的那個具代表性的單日,則是19,785次。¹兩個時間窗都很穩定,所以比例並不取決於我挑哪一個:19,785對301是65.7比1,而較平滑的7天平均落在65.9。就叫它六十六比一吧。

這裡馬上會有一個合理的反駁,我想在它動搖其他論點之前先承認:這兩個數字的單位並不相同。301是不重複的真人訪客;19,800是代理請求,而一次真人造訪本身也會跨越好幾次網頁請求。所以這並不是「讀者多了六十六倍」,而更接近「助理請求我網頁的頻率,大約是真人前來閱讀的六十六倍」。這個誠實的對照仍然指向同一個方向,因為真正有意思的並不是那個確切的倍數,而是這些代理請求最終究竟是什麼。

並不是你所擔心的那種爬蟲

一般的預設想法——包括我自己——是這一大片AI代理流量的高牆,意味著訓練用的抓取器正把你的內容吸進下一個基礎模型。正是這份恐懼,催生了成百上千次的robots.txt修改。但我的日誌顯示的並非如此。

以下是同一個具代表性的日子,按user-agent拆解的結果:¹

再看一次最上面兩列。ChatGPT-User與Claude-User合計,就占了當天約兩萬次代理請求中的一萬五千多次。兩者都不是訓練爬蟲,而且這個區別並非出於我的詮釋,而是各家廠商用白紙黑字寫在文件裡的。

OpenAI的機器人文件指出,OpenAI使用ChatGPT-User來處理「ChatGPT與Custom GPTs中的某些使用者操作」,並說明「當使用者向ChatGPT或CustomGPT提問時,它可能會造訪某個網頁」,接著直截了當地表明:「ChatGPT-User不會以自動化方式爬取網路。」²負責大量訓練抓取的,則是另一個獨立的代理GPTBot,其說明是爬取「可能用於訓練我們生成式AI基礎模型的內容」。²在我那個具代表性的日子裡,GPTBot發出了五十五次請求,ChatGPT-User則發出了一萬三千次。

Anthropic劃出的界線一模一樣。Claude-User「服務Claude的AI使用者。當使用者向Claude提問時,它可能會透過Claude-User代理存取網站。」訓練爬蟲ClaudeBot則「透過收集可能有助於訓練的網路內容,協助提升我們生成式AI模型的實用性與安全性」。³形狀如出一轍:由使用者觸發的代理讓訓練爬蟲相形見絀,2,274對212。

Cloudflare守在網路很大一片流量的前端,沒有動機去偏袒任何單一廠商,它正是把這個區隔正式化了。它的已驗證機器人分類法,依行為把AI機器人分成幾個不同類別:Agent,「代表真人造訪網頁、由使用者觸發的代理」;Search,「為建立搜尋索引或RAG資料庫而爬取」;以及Training,「為訓練或微調模型而爬取」。⁴關鍵的判別標準是有沒有真人在下指令。訓練或搜尋機器人是自主爬取,以建立一個持久的資料集;而Agent擷取則是逐次請求觸發的,由一次真人互動所引發,用來即時回答某個特定問題。我的流量絕大多數屬於第三種。

即時擷取究竟意味著什麼

請細想這套運作機制,因為它徹底改變了我們的心智模型。當ChatGPT-User造訪我的網頁時,導致這件事發生的過程是這樣的:某人打開了一個助理,輸入了一個問題,助理判斷我的網頁值得一讀以便作答,於是即時擷取了該頁,取出它所需要的部分,然後組出一段回覆。這個人得到了答案。他們也許從未見過我的名字、我的版面、我其他的文章,也沒看過頁尾那則推薦我某個App的小小註記。

那就是一位讀者,只不過是一位我永遠不會遇見的讀者。助理是個送貨員,而我的分析工具向來只看見這送貨員的貨車——一天一萬三千趟——還把它叫做雜訊。

這種反轉,正是在「AI與內容」這片喧囂底下那個安靜的故事。訓練爬蟲的爭論,講的是模型會不會在某個時間點把你的作品吸納進權重裡一次。那場爭論確實重要,但如果你想了解自己當下的活躍讀者,盯著它就盯錯了地方。活躍讀者是透過Agent擷取源源不斷地到來的,每一次都由此刻正在發生的一次真人互動所觸發。我日誌裡的每一次ChatGPT-User擷取,都能回溯到某個向助理詢問了我網頁能回答之事的人——即使一個問題可能觸發不只一次擷取,而且有些擷取從未真正呈現在任何人面前。這個規模——一天一萬五千次擷取,對上三百次真人造訪——說明了我的內容真正觸及的人,絕大多數都在助理的另一頭。

這如何改變了衡量網站的方式

一旦你接受助理是真正的讀者,你的儀表板就突然少了最重要的那個量表。標準分析工具建立在一個假設之上:閱讀是發生在你的網頁上的——會話、捲動深度、停留時間、首屏以下的轉換元件。當一個真人透過Claude閱讀你時,這些通通不會觸發。助理不捲動、不轉換,而且從定義上來說每次造訪都是跳出。如果你只憑頁面上的互動來評斷你的內容,那麼你成長最快的那群讀者,在統計上是隱形的。

由此帶來三項調整,而這三項我都已經開始著手。

第一,把AI代理的請求日誌當成一項讀者指標,而不是安全指標。我現在會像追蹤真人不重複訪客那樣,逐頁追蹤ChatGPT-User與Claude-User的次數,因為這個數字是我手上最接近「一個助理多常用這個頁面來回答某人」的替代指標。代理擷取最多的頁面,未必是真人點擊最多的頁面,而這中間的落差,是一個我先前一直丟掉的內容訊號。

第二,別再只為頁面上的那一刻做最佳化。為了讓循著搜尋而來的真人快速瀏覽而寫的頁面,和為了讓回答問題的助理能乾淨俐落地抽取內容而寫的頁面,並不是同一回事。後者這份工作獎勵的,是靠近頁首、清楚而自成一體的答案、毫不含糊的主張,以及一種擷取器不必連同周邊裝飾一起搬走的結構。這正是我為什麼在每篇文章開頭都放一個直接作答的區塊。那個區塊既是給讀者的,也同樣是給送貨員的。

第三,接受歸因會變得更困難,轉而去衡量它投下的影子。我看不見一次Claude-User擷取背後的那個真人。我能看見的,是一種二階訊號:那些抵達我網站時已經由助理轉介而來的真人——那一小股讀了答案、想看原始出處、於是點進來的人。相較於擷取量,這只是涓滴細流,一天九位對上一萬五千次,但它是那群隱形讀者露出的、看得見的一角尖端,而它的趨勢,正是衡量「當個好的答案素材,最終究竟能不能把真人送回原始出處」這件事最誠實的計分板。

底層的策略

我們很容易把這一切讀成獨立網站的末日:助理把你的內容掏空、代替你作答,然後把真人留在自己那邊。有時事情確實就是這樣。但這種框架太過扁平,因為它忽略了擷取這件事實際上在篩選什麼。

助理之所以擷取你的網頁,是因為在提問的當下,它判斷你的網頁是那個特定查詢當前可得的最佳來源。這不是過去那套為某個關鍵字爭排名的搜尋遊戲,而是成為答案引擎在需要正確時會伸手去拿的那個東西。這裡的貨幣不是反向連結或關鍵字密度,而是在夠多人會問的某件事上,做到可被明確驗證、可被擷取地正確。一個準確、具體且與時俱進的頁面會被擷取;一個內容單薄、把常識重新換句話說的頁面則不會,因為模型早就知道那些常識部分,只有在需要某樣它並不可靠地內含的東西時,才會向外伸手。

於是,Agent流量所創造的誘因,難得地與「打造真正優秀的頁面」這件事對齊了。不是為排名演算法而精心設計的頁面,而是值得被擷取來回答一個真實問題的頁面。可衡量的獎賞,已經從「有沒有真人造訪並捲動」移到了「有沒有助理判斷這是最佳來源、並把它讀給一個真人聽」。要競爭,我寧可在後者上一較高下。

立場

把助理當成你的主要讀者,因為就數字而言它們早已是了;要為擷取而打造,如同為造訪而打造一般。如今,落在你頁面上的真人已是少數讀者,而且往往是那位在助理回答之後,還在乎到親自來找原始出處的人。多數讀者是助理本身,每當有真人的問題需要時,它就即時把你擷取下來,卻從不碰你的分析數據。那不是一個該被封鎖的爬蟲問題,而是一個該去理解的散布通路,而此刻,它是多數內容網站所擁有的最大的一條。

未來幾年的網站,要用兩個數字來衡量,而不是一個。有你看得見的流量——頁面上的真人;也有你必須推估的流量——那些為了回答你永遠不會遇見的真人而在讀你的助理。我這邊的比例大約是六十六比一,偏向那群我看不見的讀者。我猜你那邊的比例,也比你的儀表板告訴你的更接近這個數字,因為那些數據就躺在我當初擱下自己那些數據的同一個角落裡,被標成雜訊。

重點整理

• 把AI代理請求當成讀者,而非雜訊。 在我的網站上,它們的數量以大約66比1超過真人的到訪,而其組成比那個倍數更重要。¹
• 多數代理流量是即時、由使用者觸發的擷取,而非訓練。 ChatGPT-User與Claude-User擷取網頁,是因為某位真人剛向他們的助理提出了問題;各家廠商都在文件中載明此事,而Cloudflare將其歸類為獨立的Agent行為。²³⁴
• 訓練爬蟲只占一小部分。 在由使用者觸發的代理發出超過15,000次請求的那一天,GPTBot與ClaudeBot合計不到300次。
• 頁面上的分析會漏掉你成長最快的讀者。 助理不捲動、不轉換,因此互動指標會讓這群Agent讀者隱形;請改以逐頁的代理擷取次數作為替代指標來追蹤。
• 為擷取而寫。 以一個清楚、自成一體的答案開場;做到具體、準確且與時俱進。答案引擎會在提問當下擷取它判斷為最佳來源的那個頁面,這獎勵的是真正正確,而不是關鍵字最佳化。

常見問題

ChatGPT-User與GPTBot有什麼差別?

GPTBot是OpenAI的訓練爬蟲,收集「可能用於訓練」基礎模型的內容。ChatGPT-User則是由使用者觸發的代理,會在有人向ChatGPT提問時擷取網頁;OpenAI表明它「不會以自動化方式爬取網路」。²在我的日誌裡,兩者相差好幾個數量級:ChatGPT-User在GPTBot只有55次請求的那一天,發出了13,128次。¹

AI助理正在即時閱讀我的網站嗎?

如果你提供的內容能回答常見問題,那幾乎肯定是。像ChatGPT-User、Claude-User與Perplexity-User這類代理,會在真人向助理詢問某個網頁能回答的事情時,即時擷取該頁。²³這些都有別於訓練爬蟲與搜尋索引器,而在我的網站上,它們是代理流量中最主要的形式。

這和SEO有什麼不同?

傳統SEO最佳化的目標,是在真人接著會點擊的結果頁上取得排名。答案引擎擷取最佳化的目標,則是成為助理擷取並閱讀來組成答案的那個來源,而且往往真人根本不會造訪。獎賞從排名訊號,轉向了「準確、具體且與時俱進到讓模型在需要正確時會伸手拿你的頁面」。

我應該在robots.txt裡封鎖AI代理嗎?

這是個真實的選擇,但要逐一按行為來決定,而不是一刀切。封鎖訓練爬蟲(GPTBot、ClaudeBot)影響的是你的內容會不會被拿去訓練未來的模型。封鎖由使用者觸發的代理(ChatGPT-User、Claude-User)影響的則是助理能否即時用你的頁面來回答真人——而對許多網站來說,這如今已是最大的一群讀者。有一點值得知道的但書:由使用者觸發的代理在遵守robots.txt方面的紀錄,比訓練爬蟲來得差,因此robots.txt的封鎖對訓練是比對即時擷取更明確的槓桿,而在即時擷取這一塊,邊緣規則可能是較可靠的控制手段。Cloudflare的分類法精準地把這些類別分開,好讓你能區別對待。⁴

我要如何衡量一群在自己網站上看不見的讀者?

你無法直接歸因一次即時擷取背後的那個真人,所以請改為衡量兩件事:一是來自邊緣日誌、逐頁的AI代理請求次數,作為助理多常使用每個頁面的替代指標;二是那一小股抵達時已由助理轉介而來的真人訪客,作為那群隱形讀者看得見的影子。

資料來源