Die Assistenten sind jetzt das Publikum

Fast ein Jahr lang habe ich meinen eigenen Traffic falsch gelesen. Ich beobachtete menschliche Besucher, Suchklicks und die Sitzungstiefe und behandelte die Bot-Zeilen in den Logs als Rauschen, das man herausfiltert. Dann habe ich sie tatsächlich einmal zusammengezählt. An einem repräsentativen Tag lieferte meine Seite rund 301 menschliche Besucher aus und etwa 19.800 Anfragen von KI-Agenten. Die Agenten haben mich nicht fürs Training abgegrast. Die mit Abstand größte einzelne Quelle war ChatGPT, das meine Seiten live abrief, um in genau diesem Moment die Frage von jemandem zu beantworten. Mein eigentliches Publikum hatte still und leise aufgehört, mich zu besuchen. Es las mich über einen Assistenten – und der Assistent las mich etwa sechsundsechzigmal häufiger als die Menschen, denen er antwortete. {.answer-block}

Kurzfassung

• An einem repräsentativen jüngeren Tag verzeichnete meine Seite ~301 menschliche Besucher und ~19.800 Anfragen von KI-Agenten. Das Agentenvolumen im 7-Tage-Schnitt liegt bei ~19.850/Tag gegenüber einem 28-Tage-Schnitt von ~301 Menschen/Tag – ein Verhältnis von nahezu 66 zu 1.¹
• Der größte Teil dieses Agenten-Traffics stammt nicht von Training-Crawlern. Es handelt sich um nutzergesteuertes Abrufen in Echtzeit: ChatGPT-User mit ~13.100 Anfragen/Tag und Claude-User mit ~2.300 – Agenten, die eine Seite nur deshalb abrufen, weil ein Mensch seinem Assistenten gerade eine Frage gestellt hat.¹²³
• Die Anbieter selbst ziehen diese Grenze in ihrer Dokumentation ausdrücklich. OpenAI: „ChatGPT-User is not used for crawling the web in an automatic fashion.” Anthropic: Claude-User ruft ab, „when individuals ask questions to Claude.” Cloudflare formalisiert dies als eigenes Verhalten der Kategorie Agent, getrennt von Training und Search.²³⁴
• Die Training-Crawler, um die sich alle sorgen, waren im Vergleich ein Rundungsfehler: GPTBot mit 55 Anfragen und ClaudeBot mit 212 am selben Tag.¹²³
• Die praktische Verschiebung: Ihre Inhalte werden zunehmend als Antwort-Substrat konsumiert. Der Leser ist ein Mensch, der niemals auf Ihrer Seite landet, und was Sie tatsächlich liest, ist ein Assistent, der Sie im Moment der Frage abruft. Das verändert, was Sie messen, was Sie schreiben und was „Traffic” überhaupt noch bedeutet.

Die Zahl, die alles neu ordnete

Es geht um eine persönliche Seite: technische Anleitungen und Essays, zehn Sprachen, ein paar Hundert menschliche Besucher am Tag. Solide, nicht viral. Monatelang erzählte mir mein Dashboard eine ordentliche Geschichte über Suchklicks und Sitzungsdauer, und die Zeilen der KI-Agenten saßen in einer Ecke, die ich gedanklich mit „Crawler, ignorieren” beschriftet hatte.

Die Beschriftung war der Fehler. Als ich schließlich die Cloudflare-Edge-Logs in dieselbe Ansicht wie die menschliche Analytik zog, war das Verhältnis alles andere als knapp. Menschen: rund 301 pro Tag im 28-Tage-Schnitt. KI-Agenten: rund 19.850 Anfragen pro Tag im 7-Tage-Schnitt und 19.785 an dem einzelnen repräsentativen Tag, den ich nach Quelle aufschlüsselte.¹ Beide Zeitfenster sind stabil, das Verhältnis hängt also nicht davon ab, welches ich wähle: 19.785 gegen 301 ergibt 65,7 zu eins, und der geglättete 7-Tage-Schnitt landet bei 65,9. Nennen wir es sechsundsechzig zu eins.

Ein berechtigter Einwand stellt sich sofort ein, und ich möchte ihn einräumen, bevor er alles Weitere untergräbt: Die Einheiten sind nicht identisch. Die 301 sind eindeutige menschliche Besucher. Die 19.800 sind Agenten-Anfragen, und auch ein einzelner menschlicher Besuch umfasst mehrere Seitenanfragen. Es sind also nicht „sechsundsechzigmal mehr Leser”. Näher an der Wahrheit ist: „Die Assistenten rufen meine Seiten etwa sechsundsechzigmal häufiger ab, als Menschen ankommen, um sie zu lesen.” Der ehrliche Vergleich weist trotzdem in dieselbe Richtung, denn das Interessante ist nicht das genaue Vielfache. Interessant ist, als was sich die Agenten-Anfragen tatsächlich herausstellten.

Nicht die Crawler, um die Sie sich Sorgen gemacht haben

Die naheliegende Annahme, auch meine, lautet: Eine Wand aus KI-Agenten-Traffic bedeutet Training-Scraper, die Ihre Inhalte ins nächste Foundation-Modell saugen. Das ist die Angst, die Hunderte von robots.txt-Änderungen ausgelöst hat. Meine Logs zeigen etwas anderes.

Hier ist derselbe repräsentative Tag, aufgeschlüsselt nach User-Agent:¹

Lesen Sie die obersten beiden Zeilen noch einmal. ChatGPT-User und Claude-User machen zusammen mehr als fünfzehntausend der rund zwanzigtausend Agenten-Anfragen des Tages aus. Keiner von beiden ist ein Training-Crawler, und die Unterscheidung ist nicht meine Deutung. Sie ist von den Anbietern in klarer Sprache dokumentiert.

OpenAIs Bot-Dokumentation besagt, dass OpenAI ChatGPT-User „for certain user actions in ChatGPT and Custom GPTs” einsetzt, dass „when users ask ChatGPT or a CustomGPT a question, it may visit a web page”, und stellt dann unmissverständlich fest: „ChatGPT-User is not used for crawling the web in an automatic fashion.”² Der massenhafte Training-Crawler ist ein eigener Agent, GPTBot, beschrieben als etwas, das „content that may be used in training our generative AI foundation models” crawlt.² An meinem repräsentativen Tag stellte GPTBot fünfundfünfzig Anfragen. ChatGPT-User stellte dreizehntausend.

Anthropic zieht dieselbe Grenze. Claude-User „supports Claude AI users. When individuals ask questions to Claude, it may access websites using a Claude-User agent.” ClaudeBot, der Training-Crawler, „helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.”³ Dasselbe Muster: Der nutzergesteuerte Agent stellt den Training-Crawler in den Schatten, 2.274 zu 212.

Cloudflare, das vor einem großen Teil des Webs sitzt und keinen Anreiz hat, einen einzelnen Anbieter zu bevorzugen, formalisiert genau diese Trennung. Seine Taxonomie verifizierter Bots ordnet KI-Bots nach Verhalten in eigene Kategorien: Agent, „user-directed agents visiting a page on behalf of a human”; Search, „crawling to build search indexes or RAG databases”; und Training, „crawling to train or fine-tune models”.⁴ Das entscheidende Unterscheidungsmerkmal ist die menschliche Steuerung. Ein Training- oder Such-Bot crawlt autonom, um einen dauerhaften Datenbestand aufzubauen. Ein Agent-Abruf wird pro Anfrage ausgelöst, durch eine menschliche Interaktion, um eine ganz bestimmte Frage live zu beantworten. Mein Traffic ist überwältigend das Dritte.

Was ein Live-Abruf tatsächlich bedeutet

Lassen Sie sich auf die Mechanik ein, denn sie verändert das mentale Modell vollständig. Wenn ChatGPT-User meine Seite aufruft, sieht die Abfolge, die dazu geführt hat, so aus: Eine Person öffnete einen Assistenten, tippte eine Frage, der Assistent entschied, dass meine Seite zur Beantwortung lesenswert war, rief die Seite in Echtzeit ab, extrahierte, was er brauchte, und formulierte eine Antwort. Die Person bekam ihre Antwort. Sie hat womöglich nie meinen Namen gesehen, mein Layout, meine anderen Beiträge oder den kleinen Hinweis am Ende, der eine meiner Apps empfiehlt.

Das ist ein Leser. Es ist nur ein Leser, dem ich nie begegne. Der Assistent ist ein Kurier, und meine Analytik sah stets nur den Lieferwagen des Kuriers – dreizehntausend Fahrten am Tag – und nannte ihn Rauschen.

Diese Umkehrung ist die leise Geschichte unter dem Lärm über KI und Inhalte. In der Debatte um Training-Crawler geht es darum, ob Modelle Ihr Werk einmal, irgendwann, in ihre Gewichte aufnehmen. Diese Debatte ist wichtig, aber sie ist das Falsche, worauf man schaut, wenn man sein Live-Publikum verstehen will. Das Live-Publikum kommt über Agent-Abrufe – fortlaufend, jeder einzelne ausgelöst durch eine menschliche Interaktion, die gerade jetzt geschieht. Jeder ChatGPT-User-Abruf in meinen Logs geht auf eine Person zurück, die ihrem Assistenten eine Frage gestellt hat, die meine Seite beantworten konnte – selbst wenn eine einzelne Frage mehr als einen Abruf auslöst und manche Abrufe niemandem je sichtbar werden. Die Größenordnung – fünfzehntausend Abrufe am Tag gegen dreihundert menschliche Besuche – sagt: Die Menschen, die meine Inhalte tatsächlich erreichen, befinden sich zum größten Teil auf der anderen Seite eines Assistenten.

Was das an der Vermessung einer Seite verändert

Sobald Sie akzeptieren, dass die Assistenten ein echtes Publikum sind, fehlt Ihrem Armaturenbrett plötzlich die wichtigste Anzeige. Die Standard-Analytik beruht auf der Annahme, dass das Lesen auf Ihrer Seite geschieht: Sitzungen, Scrolltiefe, Verweildauer, das Conversion-Element unterhalb der Falzkante. Nichts davon feuert, wenn ein Mensch Sie über Claude liest. Der Assistent scrollt nichts, konvertiert nichts und springt per Definition bei jedem Besuch ab. Beurteilen Sie Ihre Inhalte allein nach dem Engagement auf der Seite, ist Ihr am schnellsten wachsendes Publikum statistisch unsichtbar.

Daraus folgen drei Anpassungen, und ich habe alle drei begonnen.

Erstens: Behandeln Sie die Anfrage-Logs der KI-Agenten als Publikumskennzahl, nicht als Sicherheitskennzahl. Ich verfolge das Volumen von ChatGPT-User und Claude-User pro Seite jetzt genauso, wie ich menschliche Unique-Besucher verfolge, denn diese Zahl ist der beste Näherungswert, den ich dafür habe, „wie oft nutzt ein Assistent diese Seite, um jemandem zu antworten”. Die Seiten, die Agenten am häufigsten abrufen, sind nicht immer die Seiten, die Menschen am häufigsten anklicken, und diese Lücke ist ein Inhaltssignal, das ich weggeworfen habe.

Zweitens: Hören Sie auf, ausschließlich für den Moment auf der Seite zu optimieren. Eine Seite, die dafür geschrieben ist, von einem über die Suche gelandeten Menschen überflogen zu werden, ist nicht dasselbe wie eine Seite, die dafür geschrieben ist, von einem Assistenten, der eine Frage beantwortet, sauber extrahiert zu werden. Die zweite Aufgabe belohnt eine klare, in sich geschlossene Antwort weit oben, eindeutige Aussagen und eine Struktur, die ein Retriever ohne das umgebende Beiwerk herausheben kann. Deshalb setze ich an den Kopf jedes Beitrags einen direkten Antwortblock. Dieser Block ist ebenso für den Kurier wie für den Leser.

Drittens: Akzeptieren Sie, dass die Zuordnung schwieriger wird, und messen Sie stattdessen den Schatten, den sie wirft. Ich kann den Menschen hinter einem Claude-User-Abruf nicht sehen. Was ich sehen kann, ist ein Signal zweiter Ordnung: Menschen, die auf meiner Seite ankommen, bereits von einem Assistenten verwiesen – der schmale Strom von Leuten, die die Antwort gelesen haben, die Quelle wollten und durchklickten. Es ist ein Rinnsal neben dem Abrufvolumen – neun am Tag gegen fünfzehntausend –, aber es ist die sichtbare Spitze des unsichtbaren Publikums, und sein Trend ist die ehrliche Anzeigetafel dafür, ob gutes Antwort-Substrat zu sein am Ende Menschen zur Quelle zurückschickt.

Die Strategie darunter

Es liegt nahe, all das als Untergang unabhängiger Seiten zu lesen: Die Assistenten beuten Ihre Inhalte aus, antworten an Ihrer Stelle und behalten den Menschen für sich. Manchmal ist es genau das, was passiert. Doch diese Deutung ist zu flach, weil sie ignoriert, was der Abruf tatsächlich begünstigt.

Ein Assistent ruft Ihre Seite ab, weil er sie im Moment der Frage als die beste verfügbare Quelle für genau diese Anfrage beurteilt hat. Das ist nicht das alte Suchspiel, für ein Schlüsselwort zu ranken. Es geht darum, das zu sein, wonach eine Antwortmaschine greift, wenn sie korrekt sein muss. Die Währung sind nicht Backlinks oder Schlüsselwortdichte; sie besteht darin, nachweislich und abrufbar in einer Sache recht zu haben, nach der genug Menschen fragen. Eine Seite, die akkurat, spezifisch und aktuell ist, wird abgerufen. Eine Seite mit dünnem, umformuliertem Allerweltsinhalt wird es nicht, denn den Allerweltsteil kennt das Modell bereits und greift nur dann nach draußen, wenn es etwas braucht, das es nicht zuverlässig enthält.

Der Anreiz, den der Agent-Traffic schafft, ist also – ausnahmsweise – darauf ausgerichtet, wirklich gute Seiten zu machen. Keine Seiten, die für einen Ranking-Algorithmus konstruiert sind, sondern Seiten, die es wert sind, zur Beantwortung einer echten Frage abgerufen zu werden. Die messbare Belohnung hat sich verschoben von „ist ein Mensch gelandet und hat gescrollt” zu „hat ein Assistent dies als beste Quelle beurteilt und einem Menschen vorgelesen”. Ich messe mich lieber am Zweiten.

Die Position

Behandeln Sie die Assistenten als Ihr primäres Publikum, denn nach den Zahlen sind sie es bereits, und bauen Sie für den Abruf ebenso wie für den Besuch. Der Mensch auf Ihrer Seite ist jetzt der Minderheitsleser – oft derjenige, der genug Interesse hatte, um nach der Antwort des Assistenten die Quelle aufzusuchen. Der Mehrheitsleser ist der Assistent selbst, der Sie live abruft, wann immer eine menschliche Frage es verlangt, und der Ihre Analytik nie berührt. Das ist kein Crawler-Problem, das man blockiert. Es ist ein Vertriebskanal, den man verstehen muss, und im Moment ist er der größte, den die meisten Content-Seiten haben.

Die Seite der kommenden Jahre bemisst sich in zwei Zahlen, nicht in einer. Da ist der Traffic, den Sie sehen können – Menschen auf der Seite –, und da ist der Traffic, den Sie erschließen müssen – Assistenten, die Sie lesen, um Menschen zu antworten, denen Sie nie begegnen werden. Bei mir stehen sie etwa sechsundsechzig zu eins zugunsten der Leser, die ich nicht sehen kann. Ich vermute, Ihre stehen dem näher, als Ihr Dashboard es Ihnen sagt, denn die Zeilen sitzen in genau der Ecke, in der ich meine liegen ließ, beschriftet mit „Rauschen”.

Die wichtigsten Erkenntnisse

• Zählen Sie KI-Agenten-Anfragen als Publikum, nicht als Rauschen. Auf meiner Seite übersteigen sie die menschlichen Seitenankünfte etwa 66 zu 1, und die Zusammensetzung zählt mehr als das Vielfache.¹
• Der größte Teil des Agenten-Traffics ist nutzergesteuertes Abrufen in Echtzeit, kein Training. ChatGPT-User und Claude-User rufen Seiten ab, weil ein Mensch seinem Assistenten gerade eine Frage gestellt hat; die Anbieter dokumentieren dies, und Cloudflare klassifiziert es als eigenes Agent-Verhalten.²³⁴
• Training-Crawler sind ein kleiner Bruchteil. GPTBot und ClaudeBot machten zusammen unter 300 Anfragen an einem Tag aus, an dem nutzergesteuerte Agenten über 15.000 stellten.¹²³
• Die Analytik auf der Seite verpasst Ihr am schnellsten wachsendes Publikum. Assistenten scrollen nichts und konvertieren nichts, sodass Engagement-Kennzahlen das Agenten-Publikum unsichtbar machen; verfolgen Sie stattdessen das Agenten-Abrufvolumen pro Seite als Näherungswert.
• Schreiben Sie für den Abruf. Führen Sie mit einer klaren, in sich geschlossenen Antwort; seien Sie spezifisch, akkurat und aktuell. Eine Antwortmaschine ruft die Seite ab, die sie im Moment der Frage als beste Quelle beurteilt – das belohnt, wirklich recht zu haben, mehr als schlüsselwortoptimiert zu sein.

FAQ

Was ist der Unterschied zwischen ChatGPT-User und GPTBot?

GPTBot ist OpenAIs Training-Crawler, der Inhalte sammelt, die möglicherweise zum Training von Foundation-Modellen verwendet werden („may be used in training”). ChatGPT-User ist ein nutzergesteuerter Agent, der eine Seite abruft, wenn eine Person ChatGPT eine Frage stellt; OpenAI erklärt, er „is not used for crawling the web in an automatic fashion”.² In meinen Logs unterscheiden sich beide um Größenordnungen: ChatGPT-User stellte 13.128 Anfragen an einem Tag, an dem GPTBot 55 stellte.¹

Lesen KI-Assistenten meine Website in Echtzeit?

Wenn Sie Inhalte ausliefern, die gängige Fragen beantworten, dann fast mit Sicherheit ja. Agenten wie ChatGPT-User, Claude-User und Perplexity-User rufen Seiten live ab, wenn ein Mensch den Assistenten etwas fragt, das die Seite beantworten kann.²³ Diese unterscheiden sich von Training-Crawlern und von Such-Indexern, und auf meiner Seite sind sie die vorherrschende Form von Agenten-Traffic.

Wie unterscheidet sich das von SEO?

Klassisches SEO optimiert darauf, in einer Ergebnisseite zu ranken, die ein Mensch anschließend anklickt. Das Abrufen durch Antwortmaschinen optimiert darauf, die Quelle zu sein, die ein Assistent abruft und liest, um eine Antwort zu formulieren – oft ganz ohne dass der Mensch die Seite je besucht. Die Belohnung verschiebt sich von Ranking-Signalen hin zu der Frage, ob Sie akkurat, spezifisch und aktuell genug sind, dass ein Modell nach Ihrer Seite greift, wenn es korrekt sein muss.

Sollte ich KI-Agenten in der robots.txt blockieren?

Das ist eine echte Wahl, aber treffen Sie sie pro Verhalten, nicht pauschal. Das Blockieren von Training-Crawlern (GPTBot, ClaudeBot) betrifft, ob Ihre Inhalte künftige Modelle trainieren. Das Blockieren nutzergesteuerter Agenten (ChatGPT-User, Claude-User) betrifft, ob Assistenten Menschen live mit Ihrer Seite antworten können – was für viele Seiten inzwischen das größte Publikum ist. Ein Vorbehalt, den man kennen sollte: Nutzergesteuerte Agenten halten sich nachweislich schlechter an die robots.txt als die Training-Crawler, sodass eine robots.txt-Sperre ein klareres Steuermittel gegen Training als gegen Live-Abrufe ist – und eine Edge-Regel dort womöglich die verlässlichere Kontrolle bietet. Cloudflares Taxonomie trennt diese Kategorien genau deshalb sauber, damit Sie sie unterschiedlich behandeln können.⁴

Wie messe ich ein Publikum, das ich auf meiner eigenen Seite nicht sehen kann?

Sie können den Menschen hinter einem Live-Abruf nicht direkt zuordnen, also messen Sie stattdessen zwei Dinge: das Volumen der KI-Agenten-Anfragen pro Seite aus Ihren Edge-Logs als Näherungswert dafür, wie oft Assistenten jede Seite nutzen, und den kleineren Strom menschlicher Besucher, die bereits von einem Assistenten verwiesen ankommen, als sichtbaren Schatten des unsichtbaren Publikums.

Quellen