いまや読者はアシスタントである

この1年近く、私は自分のトラフィックを読み間違えていました。人間の訪問者、検索からのクリック、セッションの深さばかりを見て、ログに並ぶボットの行は、フィルターで除くべきノイズとして扱っていたのです。ところが、実際に足し合わせてみました。ある典型的な1日、サイトが応じたのは人間の訪問者が約301人、そしてAIエージェントからのリクエストが約19,800件でした。エージェントたちは、学習のために私のコンテンツをかき集めていたわけではありません。最大の供給源は、群を抜いて、ChatGPTがその瞬間に誰かの質問へ答えるため、私のページをリアルタイムで取得しているものだったのです。本当の読者は、いつの間にか訪問しなくなっていました。読者はアシスタントを介して私を読んでいて、そのアシスタントは、答える相手である人間の約66倍もの頻度で私を読んでいたのです。 {.answer-block}

TL;DR

• 最近のある典型的な1日、サイトが集めたのは人間の訪問者が約301人、AIエージェントからのリクエストが約19,800件でした。エージェントの量は7日間平均で1日あたり約19,850件、対する人間は28日間平均で1日あたり約301人。比率にしておよそ66対1です。¹
• そのエージェントのトラフィックの大半は、学習用クローラーではありません。ユーザーの操作に応じたリアルタイムの取得です。ChatGPT-Userが1日あたり約13,100件、Claude-Userが約2,300件。いずれも、人間がたった今アシスタントに何かを尋ねたからこそページを取得するエージェントです。¹²³
• 各社の公式ドキュメントは、この線引きをはっきりと示しています。OpenAIは「ChatGPT-Userは、Webを自動的にクロールするためには使用されない」と述べ、Anthropicは、Claude-Userが「人々がClaudeに質問したとき」にページを取得すると説明します。Cloudflareはこれを、TrainingやSearchとは別個の、独立したAgentという挙動として正式に分類しています。²³⁴
• 誰もが心配する学習用クローラーは、比べれば誤差の範囲でした。同じ日、GPTBotは55件、ClaudeBotは212件です。¹²³
• 実務上の変化はこうです。あなたのコンテンツは、ますます「回答の素材」として消費されるようになっています。読者は、あなたのページに一度もたどり着かない人間であり、実際にあなたを読むのは、質問の瞬間にあなたを取得するアシスタントなのです。これは、何を測るか、何を書くか、そして「トラフィック」とは何を意味するのか、そのすべてを変えてしまいます。

すべての見方を変えた数字

このサイトは個人サイトです。技術ガイドとエッセイ、10のロケール、1日あたり数百人の人間の訪問者。まずまずですが、バズるようなものではありません。数か月のあいだ、ダッシュボードは検索クリックとセッション時間について小綺麗な物語を語ってくれていて、AIエージェントの行は、私が頭の中で「クローラー、無視」とラベルを貼った隅に置かれていました。

そのラベル付けこそが間違いでした。ようやくCloudflareのエッジログを人間向けの分析と同じ画面に並べてみると、その比率はまるで拮抗していませんでした。人間は28日間平均で1日あたり約301人。AIエージェントは7日間平均で1日あたり約19,850件、そして私が供給源ごとに内訳を出した典型的な1日には19,785件でした。¹ どちらの期間も安定しているので、比率はどちらを選ぶかに左右されません。19,785対301なら65.7対1、より均された7日間平均でも65.9対1に落ち着きます。まあ、66対1と呼んでおきましょう。

もっともな反論がすぐに浮かびます。それが他の議論を掘り崩す前に、認めておきたいと思います。両者の単位は同一ではありません。301はユニークな人間の訪問者数です。19,800はエージェントのリクエスト数であり、しかも人間の1回の訪問もまた複数のページリクエストにまたがります。ですからこれは「読者が66倍多い」という話ではありません。むしろ「アシスタントは、人間が読みに来るよりも約66倍多く私のページを取得している」に近いのです。それでも、この正直な比較は同じ方向を指し示します。というのも、興味深いのは正確な倍率ではないからです。面白いのは、そのエージェントのリクエストが、結局のところ何だったのか、という点なのです。

心配していたクローラーではない

初期設定の思い込みは——私自身も含めて——AIエージェントのトラフィックの壁といえば、学習用スクレイパーがあなたのコンテンツを次の基盤モデルへと吸い上げているのだ、というものです。それこそが、無数のrobots.txt編集を引き起こしてきた恐怖です。しかし、私のログが示すのはそれではありません。

同じ典型的な1日を、user-agentごとに分解すると次のようになります。¹

上の2行をもう一度見てください。ChatGPT-UserとClaude-Userを合わせると、その日の約2万件のエージェントリクエストのうち、1万5千件以上を占めています。どちらも学習用クローラーではありませんし、この区別は私の解釈ではありません。各社が平易な言葉で明文化している事実です。

OpenAIのボットに関するドキュメントによれば、OpenAIはChatGPT-Userを「ChatGPTおよびCustom GPTsにおける特定のユーザー操作のために」使用しており、「ユーザーがChatGPTやCustomGPTに質問すると、Webページを訪れることがある」とされ、そのうえで「ChatGPT-Userは、Webを自動的にクロールするためには使用されない」とはっきり述べています。² 大量に処理する学習用クローラーは別のエージェントであるGPTBotで、「当社の生成AI基盤モデルの学習に使われる可能性のあるコンテンツ」をクロールすると説明されています。² 私の典型的な1日、GPTBotが行ったリクエストは55件でした。ChatGPT-Userは1万3千件です。

Anthropicもまったく同じ線引きをしています。Claude-Userは「ClaudeのAIユーザーを支援します。人々がClaudeに質問すると、Claude-Userエージェントを使ってWebサイトにアクセスすることがあります」。学習用クローラーのClaudeBotは「学習に寄与しうるWebコンテンツを収集することで、当社の生成AIモデルの有用性と安全性の向上に役立ちます」とされています。³ 形はまったく同じです。ユーザー操作によるエージェントが、学習用クローラーを圧倒しています——2,274対212です。

Webの大きな部分の手前に位置し、特定の1社におもねる動機を持たないCloudflareも、まさにこの区分を正式に定めています。同社の検証済みボットの分類体系は、AIボットをその挙動によって、いくつかの明確なカテゴリーに分けています。Agentは「人間の代わりにページを訪れる、ユーザー操作によるエージェント」、Searchは「検索インデックスやRAGデータベースを構築するためのクロール」、そしてTrainingは「モデルを学習または微調整するためのクロール」です。⁴ 決め手となる区別は、人間による指示があるかどうかです。学習用や検索用のボットは、永続的なデータセットを構築するために自律的にクロールします。一方、Agentの取得は、人間の操作をきっかけに、たった1つの具体的な質問へその場で答えるために、リクエストごとに発火します。私のトラフィックは、圧倒的にこの3つ目にあたります。

リアルタイム取得が実際に意味すること

その仕組みをじっくり考えてみてください。というのも、それは頭の中のモデルをまるごと変えてしまうからです。ChatGPT-Userが私のページに到達するとき、そこに至る一連の流れはこうです。ある人がアシスタントを開き、質問を打ち込み、アシスタントは答えるために私のページを読む価値があると判断し、リアルタイムでそのページを取得し、必要な部分を抜き出し、返答を組み立てる。その人は答えを得ました。私の名前も、レイアウトも、ほかの投稿も、ページ下部にある自作アプリのささやかな紹介も、一度も目にしていないかもしれません。

それでも、その人は読者です。ただ、私が決して出会うことのない読者なのです。アシスタントは配達人であり、私の分析ツールが見ていたのは配達人のトラックだけ——1日1万3千回の運行——それをノイズと呼んでいたのです。

この逆転こそが、AIとコンテンツをめぐる喧騒の下に潜む、静かな物語です。学習用クローラーの論争は、モデルがあなたの作品を、いつか一度だけ重みへと取り込むかどうか、という話です。その論争にも意味はありますが、いま現在の読者を理解したいなら、見るべき対象を間違えています。いま現在の読者は、Agentの取得を通じて、絶え間なくやって来ます。その一つひとつが、たった今起きている人間の操作によって発火しているのです。私のログにあるすべてのChatGPT-Userの取得は、私のページが答えられる何かをアシスタントに尋ねた人へとたどり着きます——たとえ1つの質問が複数の取得を引き起こすことがあり、なかには誰の目にも触れない取得があるとしても。その規模——1日1万5千件の取得に対して人間の訪問は300——が物語るのは、私のコンテンツが実際に届いている人々の大半は、アシスタントの向こう側にいる、ということです。

これがサイトの計測に何をもたらすか

アシスタントが本物の読者だと受け入れた途端、あなたの計器盤からは、最も重要なメーターが抜け落ちていることに気づきます。標準的な分析ツールは、読むという行為があなたのページ上で起きるという前提の上に成り立っています——セッション、スクロールの深さ、滞在時間、ファーストビューより下にあるコンバージョン要素。人間がClaudeを介してあなたを読むとき、そのどれも作動しません。アシスタントは何もスクロールせず、何もコンバージョンせず、定義上、訪問のたびに直帰します。ページ上のエンゲージメントだけでコンテンツを評価すれば、最も急成長している読者は、統計的に見えないままなのです。

そこから3つの調整が導かれます。私はすでに、その3つすべてに着手しています。

第一に、AIエージェントのリクエストログを、セキュリティ指標ではなく読者指標として扱うことです。いまでは私は、ChatGPT-UserとClaude-Userの量をページごとに、人間のユニーク数と同じように追跡しています。というのも、その数こそが「あるページを、アシスタントが誰かに答えるためにどれくらいの頻度で使っているか」を測る、私にとって最も近い代理指標だからです。エージェントが最も多く取得するページは、必ずしも人間が最も多くクリックするページとは限りません。そしてその差は、私が捨ててしまっていたコンテンツのシグナルなのです。

第二に、ページ上の瞬間だけのために最適化するのをやめることです。検索から着地した人間にざっと読み流されるために書かれたページと、質問に答えるアシスタントにきれいに抜き出されるために書かれたページは、同じものではありません。後者の仕事が報いるのは、冒頭近くにある明快で自己完結した答え、曖昧さのない主張、そして周囲の装飾なしに取得側が持ち出せる構造です。だからこそ私は、すべての投稿の先頭に、直接的な回答ブロックを置いています。あのブロックは、読者のためであると同時に、配達人のためでもあるのです。

第三に、アトリビューションが難しくなることを受け入れ、代わりにそれが落とす影を測ることです。私には、Claude-Userの取得の向こうにいる人間は見えません。見えるのは二次的なシグナルです——すでにアシスタントに紹介されて私のサイトに到達する人間、つまり答えを読み、出典を知りたくなってクリックしてやって来た、細い人の流れです。取得の量に比べれば、それはわずかな滴——1万5千に対して1日9人——ですが、それは目に見えない読者の、目に見える先端なのです。そしてその推移こそが、優れた「回答の素材」であることが、やがて人間を源へと呼び戻すのかどうかを示す、正直な得点板です。

その下にある戦略

これらすべてを、個人サイトの終焉として読みたくなる誘惑があります——アシスタントがあなたのコンテンツを露天掘りのように削り取り、あなたの代わりに答え、人間を囲い込む、と。実際にその通りになることもあります。しかし、その捉え方は平板すぎます。というのも、取得が実際には何を選び取っているのかを見落としているからです。

アシスタントがあなたのページを取得するのは、質問の瞬間に、その具体的なクエリにとって、あなたのページが得られる中で最良の出典だと判断したからです。これは、キーワードで順位を競う昔ながらの検索ゲームではありません。回答エンジンが正確であろうとするときに手を伸ばす、その対象になるということです。通貨はバックリンクでもキーワード密度でもありません。十分に多くの人が尋ねる何かについて、証明可能なかたちで、取得可能なかたちで正しいということです。正確で、具体的で、最新のページは取得されます。薄く言い換えただけのありふれたコンテンツのページは取得されません。ありふれた部分はモデルがすでに知っていて、確実には備えていない何かが必要になったときにだけ、外へ手を伸ばすからです。

ですからAgentのトラフィックが生み出すインセンティブは、めずらしく、本当に良いページをつくることと一致しています。順位付けアルゴリズム向けに設計されたページではなく、本物の質問に答えるために取得する価値のあるページです。測定可能な報酬は、「人間が着地してスクロールしたか」から「アシスタントがこれを最良の出典と判断し、人間に読み上げたか」へと移りました。私なら、後者で競うほうを選びます。

取るべき立場

アシスタントを主たる読者として扱いましょう。数字の上では、もうすでにそうなっているからです。そして、訪問と同じくらい取得のために作りましょう。あなたのページ上の人間は、いまや少数派の読者であり、多くの場合、アシスタントが答えたあとに、わざわざ出典を探しに来るほど関心を持った人です。多数派の読者はアシスタントそのもので、人間の質問がそれを求めるたびにあなたをリアルタイムで取得し、あなたの分析には一切触れません。それは、ブロックすべきクローラーの問題ではありません。理解すべき流通経路であり、いまこの瞬間、たいていのコンテンツサイトが持つ最大の流通経路なのです。

これから数年のサイトは、1つではなく2つの数字で測られます。目に見えるトラフィック、つまりページ上の人間。そして、推し量るしかないトラフィック、つまりあなたが決して出会うことのない人間に答えるために、あなたを読むアシスタント。私の場合、その比はおよそ66対1で、私に見えない読者のほうへ傾いています。おそらくあなたの数字も、ダッシュボードが告げているよりも、それに近いはずです。というのも、その行は、私が「ノイズ」とラベルを貼って放置したのと同じ隅に、いまも座っているからです。

要点のまとめ

• AIエージェントのリクエストを、ノイズではなく読者として数える。 私のサイトでは、それが人間のページ到達数をおよそ66対1で上回っています。そして、倍率以上に大切なのは、その内訳です。¹
• エージェントのトラフィックの大半は、学習ではなく、リアルタイムでユーザー操作による取得である。 ChatGPT-UserとClaude-Userがページを取得するのは、人間がたった今アシスタントに何かを尋ねたからです。各社はこれを明文化しており、Cloudflareは独立したAgentの挙動として分類しています。²³⁴
• 学習用クローラーはごく一部にすぎない。 ユーザー操作によるエージェントが1万5千件超を記録した日、GPTBotとClaudeBotを合わせても300件未満でした。¹²³
• ページ上の分析は、最も急成長している読者を取りこぼす。 アシスタントは何もスクロールせず、何もコンバージョンしないため、エンゲージメント指標ではAgentの読者は見えなくなります。代わりに、ページごとのエージェント取得量を代理指標として追跡しましょう。
• 取得のために書く。 明快で自己完結した答えから始め、具体的に、正確に、最新であること。回答エンジンは、質問の瞬間に最良の出典だと判断したページを取得します。それは、キーワード最適化よりも、本当に正しいことに報いるのです。

FAQ

ChatGPT-UserとGPTBotの違いは何ですか？

GPTBotはOpenAIの学習用クローラーで、基盤モデルの「学習に使われる可能性のある」コンテンツを収集します。ChatGPT-Userはユーザー操作によるエージェントで、人がChatGPTに質問したときにページを取得します。OpenAIはこれを「Webを自動的にクロールするためには使用されない」と述べています。² 私のログでは、両者は桁違いです。GPTBotが55件だった日に、ChatGPT-Userは13,128件のリクエストを行いました。¹

AIアシスタントは、私のWebサイトをリアルタイムで読んでいるのですか？

よくある質問に答えるコンテンツを提供しているなら、ほぼ確実に読んでいます。ChatGPT-User、Claude-User、Perplexity-Userといったエージェントは、人間がそのページで答えられる何かをアシスタントに尋ねると、ページをリアルタイムで取得します。²³ これらは学習用クローラーとも検索インデクサーとも別物で、私のサイトでは、エージェントのトラフィックの大半を占めています。

これはSEOとどう違うのですか？

従来のSEOは、人間がその後クリックする検索結果ページで上位に立つよう最適化します。回答エンジン向けの取得最適化は、アシスタントが答えを組み立てるために取得して読む出典になることを目指します——多くの場合、人間はまったく訪問しません。報酬は、順位付けのシグナルから、正確で、具体的で、そしてモデルが正確であろうとするときにあなたのページへ手を伸ばすほど最新であること、へと移ります。

robots.txtでAIエージェントをブロックすべきですか？

それは現実的な選択肢ですが、一括ではなく、挙動ごとに決めましょう。学習用クローラー（GPTBot、ClaudeBot）をブロックすることは、あなたのコンテンツが将来のモデルを学習させるかどうかに影響します。ユーザー操作によるエージェント（ChatGPT-User、Claude-User）をブロックすることは、アシスタントがあなたのページを使ってリアルタイムで人間に答えられるかどうかに影響します——多くのサイトにとって、それはいまや最大の読者です。知っておく価値のある注意点が1つあります。ユーザー操作によるエージェントは、学習用クローラーに比べてrobots.txtを尊重する実績が乏しいということです。ですからrobots.txtによるブロックは、リアルタイムの取得よりも学習に対してのほうが明確に効くレバーであり、そこではエッジ側のルールのほうが信頼できる制御になるかもしれません。Cloudflareの分類体系は、これらのカテゴリーを厳密に分けているので、それぞれを別々に扱うことができます。⁴

自分のサイトでは見えない読者を、どうやって測ればいいのですか？

リアルタイムの取得の向こうにいる人間を、直接ひも付けることはできません。ですから、代わりに2つを測りましょう。1つは、エッジログから得られるページごとのAIエージェントのリクエスト量。これは、各ページをアシスタントがどれくらいの頻度で使っているかの代理指標です。もう1つは、すでにアシスタントに紹介されて到達する、より小さな人間の訪問者の流れ。これは、目に見えない読者の、目に見える影です。

出典