いま読者はアシスタントになった

この1年近く、私は自分のサイトのトラフィックを読み違えていました。人間の訪問者数、検索経由のクリック、滞在の深さばかりを見て、ログに並ぶボットの行は「除外すべきノイズ」として扱っていたのです。ところが、あるとき実際に足し合わせてみました。ある典型的な1日、このサイトが迎えた人間の訪問者はおよそ301人。同じ日、AIエージェントからのリクエストには約19,800件応答していました。エージェントは学習データのために私のページを収集していたわけではありません。最大の発生源は圧倒的にChatGPTで、誰かの質問にその場で答えるためにページをリアルタイムで取得していたのです。本当の読者は、静かに私のサイトを訪れなくなっていました。読者はアシスタント越しに私の文章を読んでおり、そのアシスタントは、答えを届ける相手である人間よりも約66倍の頻度で私のページを読んでいたのです。 {.answer-block}

要点

• 直近のある典型的な1日、サイトを訪れた人間はおよそ301人、AIエージェントからのリクエストは約19,800件でした。エージェントの7日間平均は1日あたり約19,850件、人間の28日間平均は1日あたり約301人。比率にしておよそ66対1です。¹
• このエージェントトラフィックの大半は学習用クローラーではありません。ユーザーの操作を起点とするリアルタイム取得です。すなわちChatGPT-Userが1日あたり約13,100リクエスト、Claude-Userが約2,300リクエスト。いずれも、人間がアシスタントに何かを尋ねた瞬間にだけページを取りに来るエージェントです。¹²³
• ベンダー自身のドキュメントが、この線引きを明言しています。OpenAIいわく「ChatGPT-Userは、ウェブを自動的にクロールする目的では使用されません」。Anthropicは、Claude-Userが「利用者がClaudeに質問したとき」に取得を行うと説明しています。CloudflareはこれをAgentという独立した挙動として定義し、TrainingやSearchと区別しています。²³⁴
• 誰もが心配していた学習用クローラーは、比較にならないほど小さな端数でした。同じ日、GPTBotは55リクエスト、ClaudeBotは212リクエストです。¹²³
• 実務上の変化はこうです。コンテンツはますます「回答の素材」として消費されていきます。読者は、あなたのページに一度も着地しない人間であり、実際にあなたの文章を読むのは、質問の瞬間にあなたを取得しに来るアシスタントです。この変化は、何を計測し、何を書き、そもそも「トラフィック」とは何を指すのかまで塗り替えます。

すべての見え方を変えた数字

このサイトは個人サイトです。技術ガイドとエッセイ、10言語、1日あたり数百人の人間の訪問者。それなりではありますが、バズるようなものではありません。数か月のあいだ、ダッシュボードは検索クリックと滞在時間についてきれいな物語を語ってくれていて、AIエージェントの行は「クローラー、無視」と頭の中でラベルを貼った隅っこに置かれていました。

そのラベル貼りこそが誤りでした。Cloudflareのエッジログを人間向けのアナリティクスと同じ画面に並べてみると、比率は僅差どころではありませんでした。人間は28日間平均で1日あたり約301人。AIエージェントは7日間平均で1日あたり約19,850リクエスト、発生源別に分解した典型的な1日では19,785リクエストです。¹ どちらの期間も安定しているので、比率はどちらを取るかに左右されません。19,785対301は65.7対1、ならした7日間平均でも65.9対1になります。ざっと66対1と呼んでおきましょう。

ここで当然の反論がすぐに立ちます。ほかの議論を損なう前に認めておきたいのですが、この2つの単位は同じではありません。301はユニークな人間の訪問者数。19,800はエージェントのリクエスト数であり、人間1人の訪問もまた複数のページリクエストにまたがります。つまりこれは「読者が66倍いる」という話ではないのです。「人間が読みに来る頻度に対して、アシスタントが私のページを取得する頻度はおよそ66倍」と言うほうが実態に近いでしょう。それでも誠実な比較は同じ方向を指しています。面白いのは倍率の正確さではなく、そのエージェントリクエストの正体だからです。

心配していたクローラーではなかった

私自身を含め、多くの人が前提にしているのは、AIエージェントの分厚いトラフィックとは、学習用スクレイパーが次の基盤モデルに向けてコンテンツを吸い上げている姿だ、というものでしょう。無数のrobots.txt書き換えを引き起こしてきたのも、その恐れでした。しかし私のログが示しているのは、それではありません。

同じ典型的な1日を、user-agentごとに分解するとこうなります。¹

上位2行をもう一度読んでみてください。ChatGPT-UserとClaude-Userを合わせると、その日の約2万件というエージェントリクエストのうち1万5千件超を占めます。どちらも学習用クローラーではなく、この区別は私の解釈ではありません。ベンダーが平易な言葉で文書化しているものです。

OpenAIのボット関連ドキュメントは、ChatGPT-Userを「ChatGPTおよびCustom GPTsにおける特定のユーザー操作のため」に使用すると述べ、「ユーザーがChatGPTまたはCustomGPTに質問すると、ウェブページにアクセスする場合があります」と説明したうえで、「ChatGPT-Userは、ウェブを自動的にクロールする目的では使用されません」と明言しています。² 大量の学習用クロールを担うのは別のエージェント、GPTBotで、こちらは「当社の生成AI基盤モデルの学習に使用される可能性のあるコンテンツ」をクロールすると記載されています。² 私の典型的な1日、GPTBotのリクエストは55件。ChatGPT-Userは1万3千件でした。

Anthropicもまったく同じ線を引いています。Claude-Userは「Claude AIの利用者を支援します。利用者がClaudeに質問したとき、Claude-Userエージェントを使ってウェブサイトにアクセスする場合があります」。学習用クローラーであるClaudeBotは「学習に寄与しうるウェブコンテンツを収集することで、当社の生成AIモデルの有用性と安全性の向上を支援します」。³ 構図は同じで、ユーザー起点のエージェントが学習用クローラーを圧倒しています。2,274対212です。

ウェブのかなりの部分の前面に立ち、特定のベンダーに肩入れする動機を持たないCloudflareも、まさにこの分割を制度化しています。同社の検証済みボットの分類では、AIボットを挙動によって別々のカテゴリーに分けています。Agentは「人間の代理としてページを訪れる、ユーザー起点のエージェント」、Searchは「検索インデックスやRAGデータベースを構築するためのクロール」、そしてTrainingは「モデルの学習またはファインチューニングのためのクロール」です。⁴ 判別の決め手は、人間の指示があるかどうか。学習用や検索用のボットは、永続的なデータセットを作るために自律的にクロールします。一方Agentの取得は、人間の操作によって1リクエストずつ発火し、特定の1つの質問にその場で答えるために行われます。私のトラフィックは、圧倒的に3つ目のものでした。

リアルタイム取得が実際に意味すること

このメカニズムを少し腰を据えて眺めてみてください。頭の中のモデルがまるごと変わります。ChatGPT-Userが私のページに到達したとき、その裏で起きていた流れはこうです。誰かがアシスタントを開き、質問を打ち込み、アシスタントは答えるために私のページを読む価値があると判断し、リアルタイムでページを取得し、必要な部分を抜き出し、返答を組み立てました。その人は答えを手にしました。私の名前も、レイアウトも、ほかの記事も、末尾に添えた自作アプリの小さな案内も、目にすることはなかったかもしれません。

それでもその人は読者です。ただ、私が決して出会わない読者というだけのこと。アシスタントは配達人であり、私のアナリティクスは1日1万3千往復する配達バンだけを見て、それをノイズと呼んでいたのです。

この反転こそ、AIとコンテンツをめぐる喧噪の下に静かに横たわる本筋です。学習用クローラーの議論は、モデルがあなたの作品を一度、どこかの時点で重みに取り込むかどうかの話。それも重要ではありますが、いまの読者を理解したいのなら、見るべき対象を間違えています。いまの読者はAgentの取得を通じて、絶え間なく訪れます。その一つひとつが、まさにこの瞬間に起きている人間の操作によって発火しているのです。ログに残るChatGPT-Userの取得は、すべて、私のページが答えられる何かをアシスタントに尋ねた人へと遡れます。1つの質問が複数の取得を引き起こすことも、誰の目にも触れない取得があることも、承知のうえでの話です。1日1万5千件の取得に対し人間の訪問は300件という規模が語っているのは、私のコンテンツが実際に届いている人々の大半は、アシスタントの向こう側にいるということです。

サイトの計測はどう変わるか

アシスタントが本物の読者だと認めた途端、計器盤から最も重要なメーターが抜け落ちていることに気づきます。標準的なアナリティクスは、読む行為があなたのページ上で起きるという前提の上に立っています。訪問、スクロール深度、滞在時間、スクロールの下に置いたコンバージョン要素。人間がClaude越しにあなたを読むとき、そのどれも発火しません。アシスタントはスクロールもコンバージョンもせず、定義上あらゆる訪問で直帰します。ページ上のエンゲージメントだけでコンテンツを評価するなら、いちばん速く伸びている読者層は統計的に不可視になります。

そこから3つの調整が導かれ、私はその3つすべてに着手しました。

1つめ。AIエージェントのリクエストログを、セキュリティ指標ではなく読者指標として扱うこと。私はいま、ChatGPT-UserとClaude-Userの流量をページ単位で、人間のユニーク訪問者と同じように追いかけています。その件数こそ、「アシスタントがこのページを誰かへの回答に使う頻度」に最も近い代理指標だからです。エージェントが最も多く取得するページは、人間が最も多くクリックするページとは限りません。その差分は、私が捨ててしまっていたコンテンツ上のシグナルです。

2つめ。ページ上の瞬間だけに最適化するのをやめること。検索から着地した人間に流し読みされる前提で書かれたページと、質問に答えるアシスタントにきれいに抽出される前提で書かれたページは、同じではありません。後者の仕事が報いるのは、冒頭近くに置かれた明快で自己完結した答え、曖昧さのない主張、そして周囲の装飾なしでも取得側が持ち上げられる構造です。私が全記事の冒頭に直接的な回答ブロックを置いているのはそのためです。あのブロックは、読者と同じくらい配達人のためのものでもあります。

3つめ。アトリビューションが難しくなる事実を受け入れ、代わりにそれが落とす影を測ること。Claude-Userの取得の背後にいる人間は、私には見えません。見えるのは二次的なシグナルです。すなわち、すでにアシスタント経由で紹介された状態でサイトに到達する人間。回答を読み、出典を知りたくなってクリックした、あの細い流れです。取得の量に比べれば、1日9人対1万5千件という一滴にすぎません。それでも、これは不可視の読者層の見える先端であり、その推移こそが、良い回答素材であることが最終的に人間を出典へ送り返すのかどうかを判定する、誠実なスコアボードなのです。

その下にある戦略

ここまでの話を、独立系サイトの終焉として読みたくなる誘惑があります。アシスタントがコンテンツを露天掘りし、あなたの代わりに答え、人間を囲い込む、と。実際にそうなる場面はあります。しかしその枠組みは平板すぎます。取得というものが何を選び取っているのかを見落としているからです。

アシスタントがあなたのページを取得するのは、質問の瞬間に、その特定のクエリに対して利用可能な最良の出典があなたのページだと判断したからです。これは、キーワードで順位を取りに行く旧来の検索ゲームとは違います。回答エンジンが正確であろうとするとき、思わず手を伸ばす存在になること。通貨は被リンクでもキーワード密度でもありません。十分な人数が尋ねる何かについて、明白に、そして取得可能なかたちで正しいことです。正確で、具体的で、最新のページは取得されます。薄く言い換えただけのありふれたページは取得されません。ありふれた部分はモデルがすでに知っており、自分の中に確実には収まっていないものが必要なときにだけ、外に手を伸ばすからです。

つまり、Agentトラフィックが生む誘因は、めずらしく、本当に良いページを作ることと噛み合っています。ランキングアルゴリズム向けに設計されたページではなく、本物の質問に答えるために取得する価値のあるページ。測れる報酬は「人間が着地してスクロールしたか」から「アシスタントがこれを最良の出典と判断し、人間のために読んだか」へ移りました。競うなら、私は後者で競いたいと思います。

立場

アシスタントを主要な読者として扱いましょう。数字の上では、すでにそうなっているのですから。そして訪問と同じだけ、取得のために作りましょう。あなたのページにいる人間はいまや少数派の読者であり、多くの場合、アシスタントが答えたあとに出典を確かめに来るほど気にかけてくれた人です。多数派の読者はアシスタントそのもの。人間の質問が求めるたびにあなたをリアルタイムで取得し、アナリティクスには一切触れません。これはブロックすべきクローラー問題ではありません。理解すべき流通経路であり、いまのところ、たいていのコンテンツサイトが持つ最大の経路です。

これから数年のサイトは、1つではなく2つの数字で測られます。見えるトラフィック、つまりページ上の人間。そして推し量るしかないトラフィック、つまりあなたが決して出会わない人間に答えるためにあなたを読むアシスタントです。私の場合、その比はおよそ66対1で、見えない読者のほうに振れています。おそらくあなたのサイトも、ダッシュボードが告げているよりはその値に近いはずです。なぜならその行は、私が自分の行を置き去りにしていたのと同じ隅っこに、ノイズというラベルを貼られて座っているからです。

押さえておきたい点

• AIエージェントのリクエストは、ノイズではなく読者として数える。 私のサイトでは、人間のページ到達数をおよそ66対1で上回っています。そして倍率そのものより、その内訳のほうが重要です。¹
• エージェントトラフィックの大半は学習ではなく、ユーザー起点のリアルタイム取得。 ChatGPT-UserとClaude-Userがページを取得するのは、人間がいまアシスタントに何かを尋ねたからです。ベンダーはこれを文書化しており、Cloudflareも独立したAgentの挙動として分類しています。²³⁴
• 学習用クローラーはごく一部。 ユーザー起点のエージェントが1万5千件超を記録した日に、GPTBotとClaudeBotの合計は300件未満でした。¹²³
• ページ上のアナリティクスは、いちばん速く伸びている読者層を取りこぼす。 アシスタントはスクロールもコンバージョンもしないため、エンゲージメント指標ではAgentの読者層が不可視になります。代わりに、ページ単位のエージェント取得量を代理指標として追いましょう。
• 取得されるために書く。 明快で自己完結した答えを先頭に置き、具体的で、正確で、最新であること。回答エンジンは質問の瞬間に最良の出典と判断したページを取得します。つまり、キーワード最適化よりも、本当に正しいことが報われるのです。

よくある質問

ChatGPT-UserとGPTBotの違いは何ですか

GPTBotはOpenAIの学習用クローラーで、基盤モデルの「学習に使用される可能性のある」コンテンツを収集します。ChatGPT-Userはユーザー起点のエージェントで、人がChatGPTに質問したときにページを取得します。OpenAIは「ウェブを自動的にクロールする目的では使用されません」と明記しています。² 私のログでは、両者は桁違いです。GPTBotが55リクエストだった日に、ChatGPT-Userは13,128リクエストを記録しました。¹

AIアシスタントは私のサイトをリアルタイムで読んでいますか

よくある質問に答える内容を配信しているなら、ほぼ確実にそうです。ChatGPT-User、Claude-User、Perplexity-Userといったエージェントは、人間がアシスタントにそのページで答えられることを尋ねたとき、リアルタイムでページを取得します。²³ これらは学習用クローラーとも検索インデクサーとも別物であり、私のサイトではエージェントトラフィックの大半を占めています。

これはSEOとどう違うのですか

従来のSEOは、人間がその後クリックする検索結果ページで上位に出ることを目指して最適化します。回答エンジン向けの取得最適化は、アシスタントが答えを組み立てるために取得し読む出典になることを目指すもので、多くの場合、人間はページを訪れさえしません。報われる対象は、ランキングシグナルから、モデルが正確であろうとするときにあなたのページへ手を伸ばすだけの正確さ・具体性・鮮度へと移ります。

robots.txtでAIエージェントをブロックすべきですか

それは現実的な選択肢ですが、ひとまとめにせず、挙動ごとに判断してください。学習用クローラー（GPTBot、ClaudeBot）のブロックは、あなたのコンテンツが将来のモデルの学習に使われるかどうかに影響します。ユーザー起点のエージェント（ChatGPT-User、Claude-User）のブロックは、アシスタントがあなたのページを使ってリアルタイムで人間に答えられるかどうかに影響し、多くのサイトではそれがいまや最大の読者層です。知っておく価値のある注意点が1つ。ユーザー起点のエージェントは、学習用クローラーに比べてrobots.txtの遵守実績が弱いとされています。したがってrobots.txtによるブロックは、リアルタイム取得よりも学習に対して効く明確なレバーであり、後者にはエッジ側のルールのほうが確実な制御手段になりえます。Cloudflareの分類がこれらのカテゴリーを明確に分けているのは、まさに個別に扱えるようにするためです。⁴

自分のサイトでは見えない読者層を、どう測ればいいのですか

リアルタイム取得の背後にいる人間を直接ひもづけることはできません。代わりに2つを測りましょう。エッジログから得られるページ単位のAIエージェントのリクエスト量を、アシスタントが各ページをどれだけ使っているかの代理指標として。そして、すでにアシスタント経由で紹介された状態で訪れる人間という、より小さな流れを、不可視の読者層が落とす見える影として。

出典